根據1M AI News的監測,專注於AI輸出基礎設施的公司Fireworks AI發布了Fireworks Training的預覽,從純粹的輸出平台擴展為一體化的訓練與部署平台。Fireworks AI由Meta前工程師林喬創立,他參與了PyTorch的開發,目前估值達到40億美元,每天處理15兆個標記。該平台提供三個層級:1. 訓練代理:面向沒有機器學習基礎設施的產品團隊,允許他們描述任務並上傳數據,完成從訓練到部署的整個流程,目前僅支持LoRA;2. 管理式訓練:針對機器學習工程師,支持SFT、DPO和增強學習微調,包括完整的參數訓練;3. 訓練API:面向研究團隊,允許自定義損失函數和訓練週期,支持GRPO和DAPO等算法,並進行從單節點Qwen3 8B到Kimi K2.5 (兆參數)的全規模參數訓練,使用64個NVIDIA B200。Fireworks AI的客戶包括生產推理、AI編程工具Cursor、Vercel和Genspark,這些公司已在該平台上完成了先進的增強學習訓練。Vercel為其代碼生成產品v0訓練了自動錯誤修正模型,達到93%的無錯誤生成率,而Sonnet 3.5僅為62%,並將端到端延遲降低了40倍,超越了之前使用的封閉模型。Genspark利用增強學習微調了開放的兆參數模型Kimi K2.5,建立深度研究代理,工具使用率提升33%,成本降低50%。Cursor在全球3-4個集群上完成了Composer 2的分散式增強學習訓練(目前在CursorBench)中排名第一,共用GPU池進行訓練與推理。Fireworks AI強調其在訓練與推理之間的數值一致性方面的關鍵技術優勢。MoE (混合專家組)模型在數值上比密集模型更脆弱,微小的隱藏狀態變化可能改變專家的路由,並放大連鎖反應。Fireworks公布了所有支持模型的訓練與推理之間的KL散度值,均低於0.01。

查看原文
post-image
post-image
post-image
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 1
  • 轉發
  • 分享
留言
請輸入留言內容
請輸入留言內容
KatyPatyvip
· 2小時前
到月球 🌕
查看原文回復0