OpenAI และ Broadcom เปิดตัวชิป Jalapeño สำหรับการอินเฟอเรนซ์ LLM ในระดับขนาดใหญ่

OpenAI และ Broadcom ประกาศ Jalapeño ชิปใหม่ที่ออกแบบมาโดยเฉพาะสำหรับการอนุมานโมเดลภาษาขนาดใหญ่ในดาต้าเซ็นเตอร์ ASIC นี้พัฒนาขึ้นจากศูนย์ในช่วงเก้าเดือนโดยอาศัยข้อมูลเชิงลึกจากนักวิจัยของ OpenAI และสอดคล้องกับแผนงานผลิตภัณฑ์ของบริษัท

Broadcom ระบุว่า Jalapeño มีความเชี่ยวชาญเฉพาะสำหรับความต้องการ LLM ในปัจจุบันมากกว่าฮาร์ดแวร์อนุมานที่มีอยู่ OpenAI อ้างว่าการทดสอบเบื้องต้นแสดงให้เห็นว่าชิปให้ประสิทธิภาพต่อวัตต์ดีกว่าอย่างมีนัยสำคัญเมื่อเทียบกับโซลูชันปัจจุบัน แม้จะยังไม่มีการเปิดเผยรายละเอียดทางเทคนิค ซึ่งจะเผยแพร่ในอีกไม่กี่เดือนข้างหน้า