Fireworks AI lança uma pré-visualização da plataforma de treino, com suporte para treino de todos os parâmetros com parâmetros em escala de biliões (10¹²)

De acordo com a monitorização do 1M AI News, a empresa de infraestruturas de inferência de IA Fireworks AI lançou uma pré-visualização do Fireworks Training, alargando-se de uma plataforma de inferência pura para uma plataforma integrada de treino e implantação. A Fireworks AI foi fundada por Qiao Lin (Lin Qiao), uma engenheira que participou na construção do PyTorch na antiga Meta; neste momento, a avaliação é de 4 mil milhões de dólares, com um volume diário de tokens processados de 15 biliões.

A plataforma disponibiliza três níveis:

1. Training Agent: destinado a equipas de produto sem infraestrutura de ML; descreve a tarefa e permite carregar dados para concluir todo o processo, do treino à implantação; atualmente, suporta apenas LoRA
2. Managed Training: destinado a engenheiros de ML; suporta afinação SFT, DPO e afinação por aprendizagem por reforço, incluindo treino com todos os parâmetros
3. Training API: destinado a equipas de investigação; permite personalizar funções de perda e ciclos de treino, suportando algoritmos como GRPO, DAPO, etc.

A escala do treino com todos os parâmetros vai desde Qwen3 8B num único nó até Kimi K2.5 (com biliões de parâmetros) em 64 placas NVIDIA B200.

Os clientes de inferência em produção da Fireworks AI — as ferramentas de programação de IA Cursor, Vercel e Genspark — já concluíram, nesta plataforma, formações avançadas de aprendizagem por reforço. A Vercel treinou um modelo de correção automática para o seu produto de geração de código v0, com uma taxa de geração de código sem erros de 93%; o seu CTO, Malte Ubl, afirma que, em comparação com Sonnet 3.5, é apenas 62%, e que a latência ponta-a-ponta melhorou 40 vezes face aos modelos de código fechado utilizados anteriormente. A Genspark realizou afinação por aprendizagem por reforço do modelo open source Kimi K2, de biliões de parâmetros, para construir um agente de investigação profunda; as chamadas às ferramentas aumentaram 33% e o custo diminuiu 50%. A Cursor concluiu de forma distribuída o treino de aprendizagem por reforço do Composer 2 em 3 a 4 clusters a nível global (atualmente em primeiro lugar no ranking do CursorBench), e o treino e a inferência em produção partilham o mesmo pool de GPUs.

A principal diferenciação técnica que a Fireworks AI destaca é a consistência numérica entre treino e inferência. Os modelos MoE (mistura de especialistas) são, em termos numéricos, mais frágeis do que os modelos densos: pequenas alterações nos estados ocultos podem inverter a atribuição de especialistas e provocar uma amplificação em cascata. A Fireworks publica, para todos os modelos suportados, os valores da divergência KL entre treino e inferência, que são todos inferiores a 0.01.