Optimasi vLLM milik Nvidia Mengungguli AMD pada Model MoE, Mencapai Lebih dari 12.000 Token per Detik

NVDA-3,53%
AMD-4,22%
Menurut SemiAnalysis pada 13 Juli, Nvidia menunjukkan keunggulan performa yang jelas dalam optimasi inferensi vLLM atas AMD, dengan arsitektur GB200 NVL72 mencapai lebih dari 12.000 token per detik throughput pada model mixture-of-experts seperti Kimi K2.5. Analisis tersebut menyoroti bahwa kerangka inferensi terdistribusi Nvidia, Dynamo, yang terintegrasi secara mendalam dengan vLLM, memungkinkan paralelisme ahli yang efisien serta optimasi cache KV, sementara AMD MI355X saat ini bergantung pada versi standar vLLM tanpa optimasi mendalam yang sebanding untuk skenario MoE skala besar.
Penafian: Informasi di halaman ini mungkin berasal dari sumber pihak ketiga dan hanya untuk referensi. Ini tidak mewakili pandangan atau pendapat Gate dan bukan merupakan nasihat keuangan, investasi, atau hukum. Perdagangan aset virtual melibatkan risiko tinggi. Mohon jangan hanya mengandalkan informasi di halaman ini saat membuat keputusan. Untuk detailnya, lihat Penafian.
Komentar
0/400
Tidak ada komentar