Tether Lança Framework BitNet LoRA em Múltiplas Plataformas

• A estrutura LoRA do BitNet da Tether permite o treino de modelos de IA em smartphones, GPUs e dispositivos de consumo.

• O sistema reduz o uso de memória e aumenta o desempenho, com requisitos de VRAM até 77,8% menores.

• Os utilizadores podem ajustar modelos de até 13B de parâmetros em dispositivos móveis, expandindo as capacidades de IA na edge.

A Tether anunciou uma nova estrutura de IA através da sua plataforma QVAC Fabric, permitindo o treino cross-platform do BitNet LoRA em dispositivos de consumo. A atualização permite que modelos de bilhões de parâmetros rodem em smartphones e GPUs. O CEO Paolo Ardoino partilhou o desenvolvimento, destacando a redução de custos e o acesso mais amplo às ferramentas de IA.

Treino de IA Cross-Platform Expande o Acesso

A atualização do QVAC Fabric introduz suporte cross-platform para o ajuste fino do BitNet LoRA. Isto permite que modelos de IA funcionem em diferentes hardware e sistemas operativos.

Notavelmente, a estrutura suporta GPUs da AMD, Intel e Apple, incluindo chipsets móveis. Também utiliza backends Vulkan e Metal para compatibilidade.

Segundo a Tether, esta é a primeira vez que o BitNet LoRA funciona numa gama tão ampla de dispositivos. Como resultado, os utilizadores podem treinar modelos em hardware do dia a dia.

Ganhos de Desempenho em Hardware de Consumo

O sistema reduz as necessidades de memória e computação combinando as técnicas BitNet e LoRA. O BitNet comprime os pesos do modelo em valores simplificados, enquanto o LoRA limita os parâmetros treináveis.

Juntas, estas metodologias reduzem significativamente os requisitos de hardware. Por exemplo, a inferência em GPU é de duas a onze vezes mais rápida do que na CPU em dispositivos móveis.

Além disso, o uso de memória diminui drasticamente em comparação com modelos de precisão total. Benchmarks mostram até 77,8% menos uso de VRAM do que sistemas comparáveis.

A Tether também demonstrou ajuste fino em smartphones. Testes mostraram modelos de 125 milhões de parâmetros treinados em minutos em dispositivos como o Samsung S25.

Dispositivos Móveis e de Edge Podem Processar Modelos Maiores

A estrutura permite que modelos maiores funcionem em dispositivos de edge. A Tether relatou sucesso no ajuste fino de modelos de até 13 bilhões de parâmetros no iPhone 16.

Além disso, o sistema suporta GPUs móveis como Adreno, Mali e Apple Bionic. Isto amplia o desenvolvimento de IA para além de hardware especializado.

Segundo Paolo Ardoino, o desenvolvimento de IA muitas vezes depende de infraestruturas caras. Ele afirmou que esta estrutura transfere capacidades para dispositivos locais.

A Tether acrescentou que o sistema reduz a dependência de plataformas centralizadas. Também permite que os utilizadores treinem e processem dados diretamente nos seus dispositivos.