AI 기업 Anthropic, 가치 판단에 맞게 미세 조정된 언어 모델 개발

코인텔레그래프에 따르면, 인공지능(AI) 기업 앤트로픽이 사용자 커뮤니티의 가치 판단을 위해 미세 조정된 대규모 언어 모델(LLM)을 개발했다고 합니다. 이 개발은 AI를 보다 민주적으로 만들고 사용자가 AI 모델의 가치 정렬을 지시할 수 있도록 하는 것을 목표로 합니다. Polis 및 집단지성 프로젝트와 협력하여 Anthropic은 다양한 인구 통계에 속한 1,000명의 사용자가 투표를 통해 일련의 질문에 답변하는 "집단 헌법 AI"라는 실험을 수행했으며, 이 실험의 과제는 사용자가 부적절한 출력에 노출되지 않고 적절한 것을 결정할 수 있도록 하는 것이었습니다. 앤트로픽은 "헌법적 AI"라는 방법을 사용하여 안전성과 유용성을 위해 LLM을 조정하는 데 노력을 기울이고 있습니다. 여기에는 헌법이 많은 국가에서 통치의 핵심 문서로 사용되는 것과 유사하게 모델이 준수해야 하는 규칙 목록을 제공한 다음 프로세스 전반에 걸쳐 이러한 규칙을 구현하도록 훈련하는 것이 포함됩니다. 집단 헌법 AI 실험에서 Anthropic은 그룹 기반 피드백을 모델의 헌법에 통합하려고 시도했습니다. Anthropic의 블로그 게시물에 따르면, 이 실험은 LLM 제품 사용자가 집단적 가치를 결정할 수 있도록 한다는 목표를 달성하기 위한 추가 과제를 밝혀냈다는 점에서 과학적으로 성공한 것으로 보입니다. 팀이 극복해야 했던 어려움 중 하나는 기본 모델과 크라우드 소싱된 값으로 조정된 모델을 비교하기 위한 확립된 테스트가 없기 때문에 벤치마킹 프로세스를 위한 새로운 방법을 고안하는 것이었습니다. 사용자 투표 피드백을 통해 얻은 데이터를 구현한 모델은 편향된 출력 영역에서 기본 모델보다 약간 더 나은 성능을 보였습니다.