OpenAI e Broadcom Lançam Chip Jalapeño para Inferência de LLM em Escala

OpenAI e Broadcom anunciaram o Jalapeño, um novo chip concebido especificamente para inferência de grandes modelos de linguagem em centros de dados. O ASIC foi desenvolvido de raiz ao longo de nove meses com base em conhecimentos dos investigadores da OpenAI e informado pelo roteiro de produtos da empresa.

A Broadcom diz que o Jalapeño é mais especializado para as necessidades atuais de LLM do que o hardware de inferência existente. A OpenAI afirma que os testes iniciais mostram que o chip oferece um desempenho por watt substancialmente melhor do que as soluções atuais, embora os resultados técnicos detalhados sejam publicados nos próximos meses.