Tether Lanza Framework BitNet LoRA en Todas las Plataformas

• La plataforma BitNet LoRA de Tether permite entrenar modelos de IA en smartphones, GPUs y dispositivos de consumo.

• El sistema reduce el uso de memoria y mejora el rendimiento, con requisitos de VRAM hasta un 77,8% menores.

• Los usuarios pueden ajustar modelos de hasta 13 mil millones de parámetros en dispositivos móviles, ampliando las capacidades de IA en el borde.

Tether anunció una nueva plataforma de IA a través de su plataforma QVAC Fabric, que permite entrenamiento cruzado de BitNet LoRA en dispositivos de consumo. La actualización permite que modelos de mil millones de parámetros funcionen en smartphones y GPUs. El CEO Paolo Ardoino compartió el desarrollo, destacando la reducción de costos y un acceso más amplio a las herramientas de IA.

El entrenamiento de IA multiplataforma amplía el acceso

La actualización de QVAC Fabric introduce soporte multiplataforma para el ajuste fino de BitNet LoRA. Esto permite que los modelos de IA funcionen en diferentes hardware y sistemas operativos.

Cabe destacar que la plataforma soporta GPUs de AMD, Intel y Apple, incluyendo chipsets móviles. También utiliza backends Vulkan y Metal para compatibilidad.

Según Tether, esta es la primera vez que BitNet LoRA funciona en una gama tan amplia de dispositivos. Como resultado, los usuarios pueden entrenar modelos en hardware cotidiano.

Mejoras en rendimiento en hardware de consumo

El sistema reduce las necesidades de memoria y cálculo combinando las técnicas de BitNet y LoRA. BitNet comprime los pesos del modelo en valores simplificados, mientras que LoRA limita los parámetros entrenables.

Juntas, estas técnicas reducen significativamente los requisitos de hardware. Por ejemplo, la inferencia en GPU es de dos a once veces más rápida que en CPU en dispositivos móviles.

Además, el uso de memoria disminuye drásticamente en comparación con modelos de precisión completa. Las pruebas muestran un uso de VRAM hasta un 77,8% menor que sistemas similares.

Tether también demostró ajuste fino en smartphones. Las pruebas mostraron que modelos de 125 millones de parámetros se entrenaron en minutos en dispositivos como el Samsung S25.

Dispositivos móviles y de borde manejan modelos más grandes

La plataforma permite que modelos más grandes funcionen en dispositivos de borde. Tether reportó ajuste fino exitoso de modelos de hasta 13 mil millones de parámetros en el iPhone 16.

Además, el sistema soporta GPUs móviles como Adreno, Mali y Apple Bionic. Esto amplía el desarrollo de IA más allá del hardware especializado.

Según Paolo Ardoino, el desarrollo de IA a menudo depende de infraestructura costosa. Él afirmó que esta plataforma traslada esas capacidades a los dispositivos locales.

Tether agregó que el sistema reduce la dependencia de plataformas centralizadas. También permite a los usuarios entrenar y procesar datos directamente en sus dispositivos.