테더(Tether), QVAC 크로스 플랫폼 BitNet LoRA 프레임워크 출시: 소비자용 기기에서 10억 파라미터 AI 모델 훈련 지원

공식 발표에 따르면, 테더(Tether)는 QVAC Fabric 내의 크로스 플랫폼 BitNet LoRA 미세 조정 프레임워크를 출시하여 Microsoft BitNet(1-bit LLM)의 훈련 및 추론 최적화를 실현했다고 밝혔다. 이 프레임워크는 연산 능력과 메모리 요구 사항을 대폭 줄여, 10억 파라미터급 모델도 노트북, 소비자용 GPU 및 스마트폰에서 훈련과 미세 조정을 완료할 수 있게 한다. 이 솔루션은 모바일 GPU(Adreno, Mali, Apple Bionic 포함)에서 BitNet 모델의 미세 조정을 최초로 구현했으며, 테스트 결과 1억 2,500만 파라미터 모델은 약 10분, 10억 파라미터 모델은 약 1시간 내에 미세 조정을 완료할 수 있는 것으로 나타났으며, 심지어 모바일 기기에서도 130억 파라미터 모델까지 확장 가능합니다. 또한, 이 프레임워크는 Intel, AMD 및 Apple Silicon과 같은 이기종 하드웨어를 지원하며, NVIDIA가 아닌 장치에서 1비트 LLM LoRA 미세 조정을 최초로 구현했습니다. 성능 측면에서 BitNet 모델은 모바일 GPU에서 CPU 대비 추론 속도가 2~11배 향상되었으며, 동시에 메모리 사용량은 기존 16비트 모델 대비 최대 약 77.8% 감소했다. Tether는 이 기술이 고성능 컴퓨팅 및 클라우드 인프라에 대한 의존성을 해소하고, AI 훈련의 탈중앙화 및 현지화를 촉진하며, 연방 학습(federated learning)과 같은 새로운 응용 시나리오에 기반을 제공할 것으로 기대한다고 밝혔다.