xAI擁有50萬張GPU但利用率僅11%

robot
摘要生成中

币界網消息,馬斯克旗下的xAI擁有約50萬張英偉達GPU,公開數據中屬於AI開發商裡最大的集群之一。但內部備忘錄顯示,xAI近幾周的MFU(model flops utilization,衡量晶片實際算力產出占理論峰值的比例)僅約11%。一名競爭對手實驗室的研究員稱,大多數公司要突破40%都很難,但11%「低得離譜」。利用率低是行業通病,AI訓練是間歇式的:GPU在訓練時滿負荷運轉,研究員分析結果、決定下一步時晶片就閒著了。硬體層面也有瓶頸:高帶寬記憶體(HBM)速度跟不上計算晶片,成千上萬張GPU之間傳輸資料時網路任何薄弱環節都會拖慢整個集群。行業內還有「刷資料」現象,一家大型實驗室的研究員透露,同事會反覆重跑訓練實驗來抬高利用率數字,一方面避免被上級批評,另一方面防止閒置的GPU被調給其他團隊。

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆