NVIDIA rend open source l'architecture TwoTower, obtenant une accélération de la génération de texte de 2,42x

Selon Beating, NVIDIA a open-sourcé Nemotron-Labs-TwoTower, une architecture de diffusion textuelle discrète conçue pour accélérer la génération de texte des grands modèles de langage. La conception à double tour dissocie un modèle autorégressif gelé qui préserve la capacité de raisonnement d'une tour de débruitage entraînable qui génère du texte en parallèle. En utilisant seulement 1/12 des données de pré-entraînement de référence sur un modèle mélange d'experts Mamba-Transformer à 30 milliards de paramètres, TwoTower a conservé 98,7 % de la qualité de référence tout en augmentant la vitesse de génération de 2,42 fois sans surcoût mémoire supplémentaire.
Avertissement : Les informations figurant sur cette page peuvent provenir de sources tierces et sont fournies à titre indicatif uniquement. Elles ne reflètent pas les points de vue ou opinions de Gate et ne constituent pas un conseil financier, d’investissement ou juridique. Le trading des actifs virtuels comporte des risques élevés. Veuillez ne pas vous fonder uniquement sur les informations de cette page pour prendre vos décisions. Pour en savoir plus, consultez l’avertissement.
Commentaire
0/400
Aucun commentaire