TetherがクロスプラットフォームのBitNet LoRAフレームワーク「QVAC」をリリース：コンシューマー向けデバイスでの10億パラメータAIモデルのトレーニングに対応

公式発表によると、TetherはQVAC Fabricにおけるクロスプラットフォーム対応のBitNet LoRA微調整フレームワークのリリースを発表し、Microsoft BitNet（1ビットLLM）のトレーニングおよび推論の最適化を実現した。このフレームワークは、計算能力とメモリ要件を大幅に低減し、10億パラメータ級のモデルのトレーニングと微調整をノートPC、コンシューマー向けGPU、およびスマートフォン上で実行可能にする。このソリューションは、モバイルGPU（Adreno、Mali、Apple Bionicを含む）上でのBitNetモデルの微調整を初めて実現したものであり、テストの結果、1億2500万パラメータのモデルは約10分以内に、10億パラメータのモデルは約1時間で微調整を完了でき、スマートフォン上でも最大130億パラメータのモデルまで拡張可能であることが示された。さらに、このフレームワークはIntel、AMD、Apple Siliconなどの異種ハードウェアをサポートしており、NVIDIA製デバイス以外での1ビットLLM LoRA微調整を初めて実現しました。性能面では、BitNetモデルはモバイルGPU上での推論速度がCPUに比べて2～11倍向上し、同時にVRAM使用量は従来の16ビットモデルと比較して最大約77.8%削減されました。Tether社は、この技術がハイエンドな計算能力やクラウドインフラへの依存を打破し、AIトレーニングの分散化とローカル化を推進するとともに、フェデレーテッドラーニングなどの新しいユースケースの基盤を提供するものと期待しています。