RL fine-tuning membuat model 4B melampaui 235B dalam pertanyaan keuangan: Lingkungan pelatihan FinQA open-source dari Snorkel AI

Berdasarkan pemantauan 1M AI News, Snorkel AI merilis FinQA, sebuah lingkungan pelatihan penguatan (reinforcement learning) yang dibangun dari dokumen keuangan SEC 10-K yang sebenarnya, dan kini telah dirilis sebagai open source pada platform OpenEnv yang dipelihara bersama oleh Meta PyTorch dan Hugging Face. FinQA mencakup 290 soal tanya jawab keuangan berlabel ahli dari 22 perusahaan publik (termasuk Alphabet, Amazon, Apple, Bank of America, Boeing), serta menyediakan 4 alat MCP kepada Agent: menampilkan tabel keuangan yang tersedia, mengambil struktur tabel, menjalankan kueri SQL, dan mengirimkan jawaban. Kueri SQL mewajibkan filter kondisi dan melarang SELECT *, sehingga memaksa Agent hanya mengambil data yang dibutuhkan, bukan membuang seluruh tabel.

Snorkel AI bekerja sama dengan tim rLLM dari University of California, Berkeley, untuk melakukan penyetelan fine-tuning reinforcement learning pada Qwen3-4B menggunakan FinQA. Hasilnya, pada benchmark tanya jawab keuangan SnorkelFinance, mereka meraih skor 59.7%, melampaui Qwen3-235B dalam seri yang sama (51.37%), dengan jumlah parameter sekitar 1/60 dari yang terakhir, dan biaya inferensi turun sekitar 90%. Temuan kunci: model besar dapat melakukan penalaran, tetapi menghasilkan nama kolom halusinasi dan mengabaikan batasan SQL; setelah pelatihan RL, model kecil justru dapat secara tepat memanggil alat, dan “disiplin alat” bukan skala yang menjadi bottleneck.

FinQA adalah lingkungan open source pertama yang dirilis Snorkel AI di OpenEnv; ke depan, mereka akan meluncurkan lingkungan perusahaan multi-putaran yang mencakup industri seperti kesehatan, asuransi, dan hukum.