Apple, 오픈 소스 언어 모델인 OpenELM 출시

WWDC24에 앞서 Apple은 허깅 페이스 플랫폼에서 "오픈 소스 학습 및 추론 프레임워크를 갖춘 효율적인 언어 모델"을 발표했는데, 이는 사전 학습된 모델 가중치 및 학습 레시피와 함께 소스 코드가 Apple의 Github 리포지토리에서 제공되는 오픈 소스 언어 모델인 OpenELM입니다. OpenELM은 계층적 확장 전략을 사용하여 Transformer 모델의 각 계층에 파라미터를 효율적으로 할당함으로써 정확도를 향상시키는 것으로 설명됩니다. 예를 들어, 약 10억 개의 파라미터를 사용하는 OpenELM은 OLMo에 비해 정확도가 2.36% 향상되는 동시에 사전 학습된 토큰 수의 50%만 필요합니다. 모델 가중치와 추론 코드, 비공개 데이터 세트에 대한 사전 학습만 제공했던 이전 릴리스와 달리, 이번 릴리스에는 학습 로그, 여러 체크포인트, 사전 학습 구성을 포함해 공개 데이터 세트에서 언어 모델을 학습하고 평가할 수 있는 완전한 프레임워크가 포함되어 있습니다. 또한 Apple 기기에서 추론 및 미세 조정을 위해 모델을 MLX 라이브러리로 변환하는 코드도 공개했습니다. 이번 정식 릴리스는 오픈 리서치 커뮤니티를 향상 및 강화하고 향후 오픈 리서치를 위한 기반을 마련하기 위한 것입니다. (IT 하우스)