OpenAI e Broadcom Lançam Jalapeño Chip para Inferência de LLM em Escala

OpenAI e Broadcom anunciaram o Jalapeño, um novo chip projetado especificamente para inferência de modelos de linguagem de grande porte em data centers. O ASIC foi desenvolvido do zero em nove meses com base nos insights dos pesquisadores da OpenAI e informado pelo roteiro de produtos da empresa.

A Broadcom afirma que o Jalapeño é mais especializado para as necessidades atuais de LLMs do que os hardwares de inferência existentes. A OpenAI alega que testes iniciais mostram que o chip oferece desempenho por watt substancialmente melhor do que as soluções atuais, embora resultados técnicos detalhados sejam publicados nos próximos meses.