엘론 머스크의 AI 회사 xAI, Grok-1 모델 가중치 및 아키텍처 공개

엘론 머스크의 인공지능 회사인 xAI가 3,140억 개의 파라미터로 구성된 하이브리드 전문가 모델인 Grok-1의 가중치와 아키텍처를 공개했다고 PANews가 보도했습니다. 이 대규모 언어 모델은 xAI가 하이브리드 전문가 모델 아키텍처를 사용하여 처음부터 학습했으며, 가중치의 25%가 특정 토큰에 활성화되어 있습니다. 기본 모델 가중치와 네트워크 아키텍처는 이제 Apache 2.0 라이선스에 따라 사용할 수 있습니다. Grok-1의 사전 훈련 단계는 2023년 10월에 완료되었으며, 현재 공개된 버전은 특정 애플리케이션에 맞게 미세 조정되지 않은 원래의 기본 모델 체크포인트입니다. 모델 활용에 관심이 있는 사용자는 github.com/xai-org/grok에서 제공되는 가이드라인을 따르시면 됩니다.