A Apple está em negociações com a PrismML, uma startup apoiada pela Khosla Ventures, para avaliar uma tecnologia de compressão de modelos de IA que poderia permitir que modelos de IA poderosos rodem diretamente nos iPhones, disse o CEO da PrismML, Babak Hassibi, à CNBC. A PrismML lançou publicamente versões comprimidas do modelo Qwen da Alibaba na terça-feira, reduzindo o modelo de aproximadamente 54 GB para menos de 4 GB, mantendo todos os 27 mil milhões de parâmetros para dispositivos iPhone 15 ou mais recentes. As conversas procuram resolver limitações na estratégia de IA da Apple, à medida que a empresa abriu um dia antes a beta pública do iOS 27, dando aos proprietários de iPhone acesso a uma Siri remodelada, mantendo mais processamento no próprio dispositivo. Hassibi descreveu as conversas como “muito precoces”, mas disse que “as coisas estão a progredir bem”, com a Apple e outras empresas a avaliarem a velocidade, a eficiência energética e o desempenho da tecnologia. A tecnologia poderia reduzir custos de computação na cloud e reforçar a posição da Apple em matéria de privacidade, permitindo que funcionalidades de IA funcionem sem ligações à internet.
PrismML lança modelo comprimido Qwen com redução de 54 GB para 4 GB
A PrismML, uma “spinout” do California Institute of Technology, reduziu o modelo Qwen de código aberto da Alibaba de aproximadamente 54 GB para menos de 4 GB na terça-feira. A compressão permite que todos os 27 mil milhões de parâmetros sejam executados num iPhone 15 ou num dispositivo mais recente. A startup reduz os modelos de IA ao simplificar como a informação interna é armazenada, reduzindo cada valor de 16 bits para apenas um ou três valores possíveis. Hassibi comparou a abordagem com a mudança da indústria de chips de computação de oito bits para quatro bits.
Os modelos comprimidos usam entre 10 e 15 vezes menos memória, geram respostas seis a oito vezes mais rápidas e consomem de três a seis vezes menos energia do que versões convencionais executadas em hardware existente, segundo a PrismML. Hassibi reconheceu que os modelos normalmente perdem alguns pontos percentuais de desempenho global, com a recuperação de factos a enfraquecer antes de competências como raciocínio, matemática e programação. A PrismML está a lançar duas versões comprimidas do modelo gratuitamente, concebidas para correr em iPhones, MacBooks e PCs com processadores Nvidia.
Apple avalia processamento de IA no dispositivo para reduzir dependência da cloud
“Estão mesmo a avaliar a nossa tecnologia neste momento”, disse Hassibi sobre a Apple. As discussões continuam pouco claras quanto ao rumo que poderão tomar, mas Hassibi disse que as coisas estão a avançar. A Apple pode enviar pedidos complexos para modelos baseados na cloud, mas executar mais IA diretamente no iPhone reduziria o atraso associado ao envio de dados para um servidor remoto, diminuiria os custos de computação na cloud e apoiaria a abordagem de privacidade da empresa. A abordagem também permitiria que certas funcionalidades funcionassem sem ligação à internet.
Carolina Milanesi, presidente e analista principal da Creative Strategies, disse que modelos mais pequenos poderiam permitir à Apple transferir mais funcionalidades exigentes para o iPhone, incluindo fotografia computacional, geração de vídeo e ferramentas de saúde ou fitness que dependem de dados pessoais sensíveis. “Quanto mais você conseguir fazer no dispositivo, melhor é”, disse, apontando para dados de saúde e de medicação que os utilizadores quereriam manter privados. A Apple já executa partes do seu sistema de IA localmente, incluindo tradução, alguma sumarização e funcionalidades ligadas de forma estreita à informação pessoal.
PrismML angariou 16,25 milhões de dólares em ronda Seed em março
A tecnologia surgiu a partir do grupo de investigação de Hassibi no Caltech. A universidade detém as patentes subjacentes e licencia-as de forma exclusiva à PrismML. Em março, a empresa angariou uma ronda Seed de 16,25 milhões de dólares apoiada pela Khosla Ventures e por outros investidores. Hassibi disse que o modelo Gemma de código aberto da Google é o próximo na lista, seguido por modelos muito maiores, incluindo os de laboratórios na fronteira que, atualmente, geralmente exigem hardware de datacenter.
De acordo com a PrismML, a tecnologia poderá, no fim, estender-se muito para além de telemóveis e computadores portáteis, passando para robótica, sistemas autónomos e outros produtos que precisam de tomar decisões rapidamente sem depender de uma ligação à cloud. “É muito importante que a inteligência seja local e que consiga correr rápido”, disse Hassibi. Horace Dediu, fundador da Asymco, disse que a Apple provavelmente tenta manter a grande maioria das interações comuns com o Siri no dispositivo, reservando para a cloud as tarefas mais exigentes.
Analistas questionam impacto na bateria e desempenho no mundo real
Tarun Pathak, diretor de investigação na Counterpoint Research, disse que o desempenho do modelo em prompts longos, o consumo de bateria durante multitasking e a fiabilidade em milhões de pedidos serão críticos. “O teste final será de milhões de consultas, milhares de combinações de dispositivos e testes robustos à escala”, disse Pathak. Phil Solis, que lidera a investigação da IDC sobre processadores para clientes, disse que o consumo de energia pode ser a maior questão em aberto. Um modelo suficientemente capaz para ser usado frequentemente ou continuamente em segundo plano para tarefas do tipo agente pode esgotar a bateria de um telemóvel mesmo que exija menos memória.
Gil Luria, analista da D.A. Davidson, disse que reduzir modelos não eliminaria a necessidade de processadores ou memória. Poderia apenas deslocar mais desses chips dos datacenters para telemóveis e outros dispositivos. “Não é que não vá precisar do chip”, disse Luria. “Vai continuar a precisar da GPU e vai continuar a precisar da memória.” Acrescentou que executar IA em dispositivos individuais pode, na verdade, ser menos eficiente do que usar infraestruturas partilhadas de datacenter, porque os chips em telemóveis podem ficar ociosos grande parte do tempo.
A Morgan Stanley estima que o custo médio da memória dinâmica de acesso aleatório (DRAM) por bit possa aumentar cerca de 190% ano contra ano no ano fiscal de 2027, com os custos de NAND a subirem cerca de 180%. A empresa espera que a Apple aumente o preço inicial de modelos comparáveis de iPhone 18 em cerca de 200 dólares para proteger as margens. As ações da Micron caíram fortemente em março depois de a Google publicar o seu artigo TurboQuant sobre como cortar o uso de memória sem prejudicar o desempenho do modelo, embora a ação tenha recuperado mais tarde. Pathak disse que a combinação de IA na cloud e no dispositivo pode oferecer uma experiência de IA mais completa, eficiente e centrada na privacidade, com tarefas complexas descarregadas para a cloud e tarefas sensíveis, críticas para a latência, executadas no dispositivo.
Perguntas Frequentes
O que é que a PrismML lançou na terça-feira?
Na terça-feira, a PrismML lançou publicamente versões comprimidas do modelo Qwen de código aberto da Alibaba. A empresa reduziu o modelo de aproximadamente 54 GB para menos de 4 GB, permitindo que todos os 27 mil milhões de parâmetros sejam executados num iPhone 15 ou num dispositivo mais recente.
Como é que funciona a tecnologia de compressão da PrismML?
A PrismML reduz os modelos de IA ao simplificar drasticamente a forma como a informação interna é armazenada, reduzindo cada valor de 16 bits para apenas um ou três valores possíveis. Os modelos comprimidos usam entre 10 e 15 vezes menos memória, geram respostas seis a oito vezes mais rápidas e consomem de três a seis vezes menos energia do que versões convencionais, segundo a empresa.
Porque é que a Apple está a avaliar o processamento de IA no dispositivo?
Executar mais IA diretamente no iPhone reduziria o atraso associado ao envio de dados para um servidor remoto, diminuiria os custos de computação na cloud e apoiaria a abordagem de privacidade da Apple. A abordagem também permitiria que certas funcionalidades funcionassem sem ligação à internet, de acordo com a fonte.
