تحسينات Nvidia لـ vLLM تتفوق على AMD في نماذج MoE، لتصل إلى أكثر من 12000 رمز في الثانية

NVDA%3.53-
AMD%4.22-
أفاد SemiAnalysis في 13 يوليو أن Nvidia أظهرت مزايا أداء واضحة في تحسين الاستدلال باستخدام vLLM مقارنةً بـ AMD، إذ حققت بنية GB200 NVL72 معدل نقل يتجاوز 12,000 رمز في الثانية في نماذج mixture-of-experts مثل Kimi K2.5. وأبرز التحليل أن إطار الاستدلال الموزّع Dynamo لدى Nvidia، المدمج بعمق مع vLLM، يمكّن من تنفيذ الخبراء بالتوازي بكفاءة وتحسين ذاكرة KV cache، بينما تعتمد MI355X من AMD حالياً على إصدارات vLLM القياسية دون مستوى مماثل من التحسين المتعمق لسيناريوهات MoE واسعة النطاق.
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة مستمدة من مصادر خارجية وهي للمرجعية فقط. لا تمثل هذه المعلومات آراء أو وجهات نظر Gate ولا تشكل أي نصيحة مالية أو استثمارية أو قانونية. ينطوي تداول الأصول الافتراضية على مخاطر عالية. يرجى عدم الاعتماد حصرياً على المعلومات الواردة في هذه الصفحة عند اتخاذ القرارات. لمزيد من التفاصيل، يرجى الرجوع على إخلاء المسؤولية.
تعليق
0/400
لا توجد تعليقات