OpenAI und Broadcom bringen Jalapeño-Chip für LLM-Inferenz im großen Maßstab auf den Markt.

OpenAI und Broadcom haben Jalapeño angekündigt, einen neuen Chip, der speziell für das Inferencing großer Sprachmodelle in Rechenzentren entwickelt wurde. Der ASIC wurde innerhalb von neun Monaten von Grund auf neu entwickelt, basierend auf Erkenntnissen der OpenAI-Forscher und unter Berücksichtigung der Produkt-Roadmap des Unternehmens.

Broadcom erklärt, dass Jalapeño stärker auf die aktuellen Anforderungen großer Sprachmodelle spezialisiert ist als bestehende Inferenz-Hardware. OpenAI behauptet, dass erste Tests zeigen, dass der Chip eine deutlich bessere Leistung pro Watt liefert als aktuelle Lösungen, obwohl detaillierte technische Ergebnisse in den kommenden Monaten veröffentlicht werden.