NVIDIA macht TwoTower-Architektur Open Source, erzielt 2,42-fache Beschleunigung bei der Textgenerierung

Laut Beating hat NVIDIA Nemotron-Labs-TwoTower als Open-Source veröffentlicht, eine diskrete Textdiffusionsarchitektur, die die Textgenerierung großer Sprachmodelle beschleunigen soll. Das Zwei-Turm-Design entkoppelt ein eingefrorenes autoregressives Modell, das die Argumentationsfähigkeit bewahrt, von einem trainierbaren Denoising-Turm, der Text parallel generiert. Mit nur 1/12 der Baseline-Vortrainingsdaten bei einem 30-Milliarden-Parameter-Mamba-Transformer-Mixture-of-Experts-Modell behielt TwoTower 98,7 % der Baseline-Qualität bei, während die Generierungsgeschwindigkeit um das 2,42-fache ohne zusätzlichen Speicheraufwand gesteigert wurde.
Disclaimer: The information on this page may come from third-party sources and is for reference only. It does not represent the views or opinions of Gate and does not constitute any financial, investment, or legal advice. Virtual asset trading involves high risk. Please do not rely solely on the information on this page when making decisions. For details, see the Disclaimer.
Kommentieren
0/400
Keine Kommentare