Rakuten veröffentlicht Rakuten AI 3.0 Modell, Konfigurationsdatei zeigt, dass die zugrunde liegende Architektur DeepSeek V3 ist

Gate News Nachrichten, am 17. März hat die Rakuten Group unter dem Namen „Japans größtes Hochleistungs-KI-Modell“ Rakuten AI 3.0 veröffentlicht, das unter der Apache 2.0 Lizenz kostenlos Open Source gestellt wurde. Das Modell basiert auf einer MoE (Mixture of Experts)-Architektur, mit insgesamt 671 Milliarden Parametern, 37 Milliarden aktivierten bei jeder Inferenz, einem Kontextfenster von 128K und ist auf Japanisch optimiert. In mehreren japanischen Benchmark-Tests übertrifft es GPT-4o. Das Modell ist ein Ergebnis des GENIAC-Projekts, das vom japanischen Ministerium für Wirtschaft, Handel und Industrie (METI) und der New Energy and Industrial Technology Development Organization (NEDO) gemeinsam vorangetrieben wird. Die japanische Regierung hat einen Teil der Trainingskosten finanziert. In der Ankündigung beschreibt Rakuten die Basis des Modells als „optimale Ergebnisse der Open-Source-Community“, nennt jedoch kein konkretes Modell. Die Community hat daraufhin die auf HuggingFace veröffentlichte Modell-Datei geprüft und festgestellt, dass in config.json explizit model_type: deepseek_v3 und architectures: DeepseekV3ForCausalLM eingetragen sind, was mit 671 Milliarden Parametern, 37 Milliarden aktivierten und einem Kontextfenster von 128K vollständig mit DeepSeek V3 übereinstimmt. Dies deutet darauf hin, dass das Modell auf Basis von DeepSeek V3 durch Feinabstimmung mit japanischen Daten entstanden ist.