TetherのBitNet LoRAフレームワークは、スマートフォン、GPU、一般消費者向けデバイスでのAIモデルのトレーニングを可能にします。
このシステムはメモリ使用量を削減し、パフォーマンスを向上させ、VRAMの必要量を最大77.8％低減します。
ユーザーはモバイルデバイス上で最大13Bパラメータのモデルを微調整でき、エッジAIの能力を拡大します。
Tetherは、QVAC Fabricプラットフォームを通じて新しいAIフレームワークを発表し、一般消費者向けデバイスでのクロスプラットフォームのBitNet LoRAトレーニングを可能にしました。このアップデートにより、数十億パラメータのモデルがスマートフォンやGPU上で動作できるようになりました。CEOのパオロ・アルドイノは、この開発について、コスト削減とAIツールへのアクセス拡大を強調しました。
QVAC Fabricのアップデートは、BitNet LoRAの微調整においてクロスプラットフォームのサポートを導入します。これにより、異なるハードウェアやOS上でAIモデルを動作させることが可能になります。
特に、AMD、Intel、AppleのGPUやモバイルチップセットをサポートしています。また、VulkanやMetalのバックエンドを使用して互換性を確保しています。
Tetherによると、これはこれほど広範なデバイスでBitNet LoRAが動作するのは初めてのことです。その結果、ユーザーは日常的なハードウェア上でモデルをトレーニングできるようになりました。
このシステムは、BitNetとLoRAの技術を組み合わせることで、メモリと計算リソースの必要量を削減します。BitNetはモデルの重みを簡素化された値に圧縮し、LoRAはトレーニング可能なパラメータを制限します。
これらの方法により、ハードウェアの要求が大幅に低減されます。例えば、GPUによる推論は、モバイルデバイス上でCPUの2倍から11倍高速に動作します。
また、メモリ使用量もフル精度モデルと比べて大きく削減されており、ベンチマークでは最大77.8％のVRAM削減を示しています。
Tetherは、スマートフォン上での微調整も実証しました。サムスンS25などのデバイス上で、125百万パラメータのモデルを数分でトレーニングできることを確認しました。
このフレームワークにより、エッジデバイス上でより大きなモデルを動作させることが可能になりました。Tetherは、iPhone 16上で最大13億パラメータのモデルの微調整に成功したと報告しています。
さらに、Adreno、Mali、Apple BionicなどのモバイルGPUもサポートしており、AI開発の範囲を拡大しています。
パオロ・アルドイノは、AI開発は高価なインフラに依存しがちだと述べており、このフレームワークはその能力をローカルデバイスにシフトさせるとしています。
Tetherはまた、このシステムにより中央集権的なプラットフォームへの依存を減らし、ユーザーが自分のデバイス上で直接トレーニングやデータ処理を行えるようになると付け加えました。
