Les optimisations de vLLM de Nvidia surpassent AMD sur les modèles MoE, atteignant plus de 12 000 tokens par seconde

NVDA-3,53%
AMD-4,22%
D’après SemiAnalysis, le 13 juillet, Nvidia a démontré des avantages de performance nets dans l’optimisation de l’inférence vLLM par rapport à AMD, l’architecture GB200 NVL72 atteignant plus de 12 000 tokens par seconde de débit sur des modèles à experts spécialisés (mixture-of-experts) comme Kimi K2.5. L’analyse a mis en évidence que le framework d’inférence distribué Dynamo de Nvidia, profondément intégré à vLLM, permet une parallélisation efficace des experts et une optimisation du cache KV, tandis qu’AMD MI355X s’appuie actuellement sur des versions standard de vLLM, sans optimisation équivalente en profondeur pour les scénarios MoE à grande échelle.
Avertissement : Les informations figurant sur cette page peuvent provenir de sources tierces et sont fournies à titre indicatif uniquement. Elles ne reflètent pas les points de vue ou opinions de Gate et ne constituent pas un conseil financier, d’investissement ou juridique. Le trading des actifs virtuels comporte des risques élevés. Veuillez ne pas vous fonder uniquement sur les informations de cette page pour prendre vos décisions. Pour en savoir plus, consultez l’avertissement.
Commentaire
0/400
Aucun commentaire