Fireworks AI запускает учебную платформу, поддерживающую обучение по всем параметрам триллиона параметров

Fireworks AI опубликовала предварительную версию Fireworks Training, расширив позиционирование компании с поставщика исключительно инфраструктуры для вывода до «платформы “обучение + развертывание”» как единого целого. Эта компания по базовой инфраструктуре для ИИ, основанная бывшим инженером Meta Лин Цяо (Lin Qiao), который участвовал в создании PyTorch, в настоящее время оценивается в 4 миллиарда долларов США; количество токенов, обрабатываемых в день, уже достигло 1,5 триллиона.

Трёхуровневая архитектура обучения: от no-code операций до кастомизации уровня исследований с полной поддержкой

Трёхуровневая архитектура Fireworks Training разработана для пользователей с разным техническим бэкграундом, чтобы команды продукта, ML-инженеры и исследователи могли выполнить полный процесс — от обучения до развертывания — на одной платформе:

Функциональная направленность трёх уровней сервиса

Training Agent (уровень no-code): для продуктовых команд без инфраструктуры ML, описываете задачу и загружаете данные — этого достаточно для выполнения end-to-end процесса; сейчас поддерживается дообучение LoRA

Managed Training (уровень для инженеров): для ML-инженеров, поддерживает дообучение SFT, DPO и с усиленным обучением; включает возможность полного параметрического обучения

Training API (исследовательский уровень): для исследовательских команд, позволяет самостоятельно задавать функцию потерь и цикл обучения; поддерживает алгоритмы обучения с подкреплением вроде GRPO, DAPO

Масштаб полного параметрического обучения весьма широк — от модели Qwen3 8B на одном узле до модели с триллионами параметров Kimi K2.5 на 64 платах GPU Nvidia B200, охватывая полный диапазон масштабов для текущих популярных open-source моделей.

Три ключевых кейса клиентов: измеримые показатели эффективности в производственной среде

Среди текущих клиентов Fireworks AI по выводу уже есть три ведущих AI-приложения, которые завершили передовое обучение с подкреплением и опубликовали конкретные данные по эффективности.

Vercel: для продукта по генерации кода v0 обучили автоматическую модель исправления ошибок; доля генерации кода без ошибок достигла 93%, тогда как при одинаковых условиях у Claude Sonnet 3.5 она составляет лишь 62%; end-to-end задержка по сравнению с ранее использовавшейся закрытой моделью улучшилась в 40 раз.

Genspark: выполнили дообучение с усиленным обучением для открытой модели с триллионом параметров Kimi K2, чтобы построить агент для глубоких исследований. Количество вызовов инструментов выросло на 33%, а стоимость вывода снизилась на 50%.

Cursor: в глобально распределённом формате завершили обучение с подкреплением Composer 2 на 3–4 кластерах; сейчас CursorBench занимает первое место, и при этом обучение и production-инференс выполняются с использованием одного пула ресурсов GPU.

Ключевые технические различия: числовая согласованность обучения и вывода

Главное технологическое дифференцирование, на которое делает акцент Fireworks AI, заключается в «числовой согласованности» между обучением и выводом. Для моделей MoE (моделей “смесь экспертов”) даже небольшие числовые отклонения скрытых состояний могут привести к каскадному эффекту усиления в решениях маршрутизации экспертов, из-за чего поведение модели, изученное в обучающей среде, не удастся полностью воспроизвести при выводе.

Fireworks публикует значения KL-дивергенции между обучением и выводом для всех поддерживаемых моделей; все модели имеют значение ниже 0.01, предоставляя основу для количественного сравнения согласованности, чтобы разработчики могли оценивать устойчивость поведения модели при переносе от обучения к production-развертыванию.

Частые вопросы

Что такое Fireworks AI?

Fireworks AI — это компания по инфраструктуре для вывода ИИ, основанная бывшим инженером Meta Лин Цяо (Lin Qiao), который участвовал в создании PyTorch. Текущая оценка компании составляет 4 миллиарда долларов США; количество токенов, обрабатываемых в день, — 1,5 триллиона; ключевые клиенты включают Cursor, Vercel, Genspark и другие популярные AI-приложения.

Для каких пользователей подходит трёхуровневая архитектура Fireworks Training?

Training Agent предназначен для продуктовых команд без ML-инфраструктуры (no-code операции); Managed Training предназначен для ML-инженеров (поддерживает SFT, DPO и обучение всех параметров с подкреплением); Training API предназначен для исследовательских команд (можно самостоятельно задавать функцию потерь и цикл обучения, поддерживаются алгоритмы вроде GRPO, DAPO).

Почему Fireworks AI подчёркивает, что KL-дивергенция ниже 0.01?

KL-дивергенция измеряет числовые отклонения между средой обучения и средой вывода; чем больше отклонение, тем менее стабильным становится поведение модели после развертывания. Это особенно важно для моделей MoE — небольшие отклонения могут усилиться до различий в решениях маршрутизации. Fireworks AI публикует поддающиеся количественной оценке показатели, позволяя разработчикам объективно оценивать качество согласованности модели при переносе от обучения к развертыванию.