Fireworks AI meluncurkan versi pratinjau platform pelatihan, mendukung pelatihan seluruh parameter dengan skala 10^12 parameter (seluruh parameter training).

Berdasarkan pemantauan 1M AI News, perusahaan infrastruktur penalaran AI Fireworks AI merilis versi pratinjau Fireworks Training, memperluas diri dari platform penalaran murni menjadi platform terpadu untuk pelatihan dan deployment. Fireworks AI didirikan oleh mantan insinyur Meta, Qiao Lin (Lin Qiao), yang pernah terlibat dalam membangun PyTorch; saat ini valuasinya 4 miliar dolar AS, dengan volume token yang diproses per hari mencapai 15 triliun.

Platform ini menyediakan tiga tingkatan:

1. Training Agent: untuk tim produk yang tidak memiliki infrastruktur ML, cukup mendeskripsikan tugas dan mengunggah data untuk menyelesaikan seluruh alur dari pelatihan hingga deployment; saat ini hanya mendukung LoRA
2. Managed Training: untuk insinyur ML, mendukung fine-tuning SFT, DPO, dan reinforcement learning, termasuk pelatihan parameter penuh
3. Training API: untuk tim riset, dapat menyesuaikan fungsi loss dan loop pelatihan, mendukung algoritma seperti GRPO, DAPO, dan lain-lain

Skala pelatihan parameter penuh mulai dari Qwen3 8B pada satu node, hingga Kimi K2.5 (parameter dalam skala triliunan) di 64 unit Nvidia B200.

Klien produksi untuk inferensi Fireworks AI, alat pemrograman AI Cursor, Vercel, dan Genspark, telah menyelesaikan pelatihan reinforcement learning mutakhir di platform tersebut. Vercel melatih model koreksi otomatis untuk produk generasi kodenya v0, dengan tingkat pembuatan kode tanpa kesalahan mencapai 93%; CTO- nya Malte Ubl menyatakan bahwa dibandingkan Sonnet 3.5 hanya 62%, latensi end-to-end membaik 40 kali dibanding model closed-source yang digunakan sebelumnya. Genspark melakukan fine-tuning reinforcement learning pada model open-source skala triliunan parameter Kimi K2 untuk membangun deep research agent; jumlah pemanggilan alat meningkat 33%, dan biaya turun 50%. Cursor menyelesaikan pelatihan reinforcement learning Composer 2 secara terdistribusi pada 3 hingga 4 klaster di seluruh dunia (saat ini menempati peringkat pertama di CursorBench), dan pelatihan serta inferensi produksi berbagi kumpulan GPU yang sama.

Perbedaan teknis utama yang ditekankan Fireworks AI adalah konsistensi numerik antara pelatihan dan inferensi. Model MoE (Mixture of Experts / campuran ahli) secara numerik lebih rapuh dibanding model dense; perubahan kecil pada hidden state dapat membalikkan routing ahli lalu memicu pembesaran berantai. Fireworks mempublikasikan nilai KL divergence antara pelatihan dan inferensi untuk semua model yang didukung, yang semuanya lebih rendah dari 0.01.