연구원들이 50달러 미만으로 OpenAI o1 모델에 필적하는 s1 모델을 만듭니다.

금요일에 발표된 새로운 연구 논문에 따르면 스탠포드 대학교와 워싱턴 대학교의 AI 연구원들은 50달러 미만의 클라우드 크레딧으로 AI "추론" 모델을 훈련할 수 있었습니다. 수학 및 코딩 능력을 측정하는 테스트에서 s1이라고 불리는 이 모델은 OpenAI의 o1 및 DeepSeek의 r1과 같은 최첨단 추론 모델과 유사한 성능을 보였습니다. s1의 모델과 이를 학습하는 데 사용된 데이터 및 코드는 GitHub에서 확인할 수 있습니다. s1 개발팀은 다른 AI 모델의 답변을 학습하여 '추론' 기능을 추출하는 과정인 증류법을 통해 AI 모델을 만들었다고 말합니다. 연구진은 s1이 Google의 추론 모델 중 하나인 Gemini 2.0 플래시 사고 실험에서 증류되었다고 말합니다. 이 증류법은 지난달 버클리 연구진이 약 450달러에 AI 추론 모델을 만드는 데 사용한 것과 동일한 방법입니다. s1의 연구자들은 강력한 추론 성능과 '테스트 시간 확장'을 달성하거나, AI 모델이 질문에 답하기 전에 더 많은 생각을 하도록 만드는 가장 쉬운 방법을 찾고 있습니다. 이는 다른 AI 연구소가 다양한 기술을 통해 모방하려고 시도하고 있는 OpenAI의 o1의 혁신 중 일부입니다. s1 논문은 AI 모델이 데이터 세트의 특정 동작을 모방하도록 명시적으로 지시하는 감독 미세 조정(SFT)이라는 프로세스를 사용하여 비교적 작은 데이터 세트를 사용하여 추론 모델을 개선할 수 있다고 제안합니다. SFT는 DeepSeek가 AI 모델 학습에 사용하는 기술보다 훨씬 더 널리 사용되는 경향이 있습니다. 대규모 강화 학습 접근 방식은 OpenAI의 o1, R1에 대한 답변에 사용됩니다. s1은 무료로 다운로드할 수 있는 알리바바의 중국 AI 연구소인 Qwen의 소형 기성품 AI 모델을 기반으로 합니다. s1을 훈련시키기 위해 연구원들은 신중하게 선별된 1,000개의 질문으로 구성된 데이터 세트와 해당 질문에 대한 답변, 그리고 각 답변 뒤에 숨겨진 '사고' 과정을 Google의 Gemini 2.0 플래시 사고 실험에서 생성했습니다. 연구진에 따르면, 16개의 Nvidia H100 GPU를 사용하여 30분 이내에 s1을 훈련시킨 결과, s1은 특정 AI 벤치마크에서 강력한 성능을 달성했습니다. 이 프로젝트에 참여한 스탠퍼드 연구원 Niklas Muennighoff는 현재 필요한 컴퓨터를 약 20달러에 대여할 수 있다고 말합니다. (테크크런치)