AMD MI355X đạt được suy luận GLM 5.2 với chi phí bằng một nửa so với NVIDIA B200

Theo Wafer, một startup chuyên tối ưu hóa suy luận, chip AMD MI355X chạy mô hình mã nguồn mở mới nhất GLM 5.2 đạt chi phí suy luận xấp xỉ một nửa so với GPU B200 hàng đầu của NVIDIA, đồng thời mang lại khoảng 80% hiệu suất. Thử nghiệm cho thấy thông lượng tổng hợp nút đơn đạt 2.626 token mỗi giây, với thông lượng luồng đơn đạt 213 token mỗi giây. Việc tối ưu hóa tận dụng các kỹ thuật phần mềm bao gồm lượng tử hóa mô hình, lựa chọn engine suy luận và sửa lỗi tương thích ROCm, thay vì phần cứng tùy chỉnh.

Một báo cáo riêng từ SemiAnalysis xác nhận kết quả tương tự, trích dẫn chi phí suy luận AMD MI355X ở mức 0,22 USD trên mỗi triệu token trong các kịch bản tương tác, thấp hơn mức 0,30 USD của NVIDIA B200. Tuy nhiên, lợi thế của AMD vẫn chủ yếu ở các triển khai nút đơn; NVIDIA vẫn giữ lợi thế đáng kể trong các hệ thống phân tán đa nút và ứng dụng quy mô doanh nghiệp.