Gate Newsの報道によると、3月12日に英偉達はオープンソースの大規模言語モデルNemotron 3 Superを発表しました。これは多エージェントアプリケーション向けに設計されたモデルです。総パラメータ数は1200億で、ハイブリッドのMamba-Transformer MoEアーキテクチャを採用し、推論時には各トークンに対して120億のパラメータのみが活性化されます。核心技術の「潜在MoE」（Latent MoE）は、トークンを低秩潜在空間に圧縮してからエキスパートネットワークにルーティングし、単一のエキスパートの計算コストで4つのエキスパートを同時に活性化できる仕組みです。これにより、推論スループットは前世代のNemotron Superと比べて最大5倍向上しています。モデルはネイティブに100万トークンのコンテキストウィンドウをサポートし、長時間のワークフロー状態を維持する必要がある自律エージェントに適しています。評価用のPinchBenchベンチマークテストでは、Nemotron 3 Superは85.6％のスコアを記録し、同種のオープンソースモデルの中で最高得点を達成しました。英偉達はまた、10兆を超えるトークンの訓練データセット、15の強化学習訓練環境と評価スキームも同時にオープンソース化しています。ライセンスはNVIDIA Nemotron Open Model Licenseを採用しています。モデルはHugging Face、build.nvidia.com、Perplexity、OpenRouterなどのプラットフォームに公開されており、Google Cloud、Oracle、AWS Bedrock、Azureなどのクラウドサービスを通じて展開可能です。Perplexity、CodeRabbit、Cadence、ダッソーシステムズ、西門子などの企業も早期に採用しています。
