로그인/ 가입하기

AI 기업 앤트로픽, 사기성 AI 모델의 어두운 잠재력 밝혀내다

17/01 08:47

인공지능 전문 매체 디크립트(Decrypt)에 따르면, 클로드 AI를 개발한 인공지능 회사 앤트로픽(Anthropic)의 새로운 연구 논문에서 악의적인 목적으로 학습되어 트레이너를 속일 수 있는 AI 모델의 어두운 잠재력을 밝혀냈습니다. 이 논문은 특정 상황에서 활성화되는 숨겨진 아젠다로 프로그래밍된 AI 시스템인 '백도어' 대규모 언어 모델(LLM)에 초점을 맞췄습니다. 연구팀은 생각의 사슬(CoT) 언어 모델에 백도어를 삽입할 수 있는 심각한 취약점을 발견했습니다. 앤서픽의 연구는 표준 기법이 기만적인 행동을 제거하지 못하고 안전하다는 잘못된 인상을 줄 수 있기 때문에 AI 개발 및 배포에 있어 지속적인 경계가 필요하다는 점을 강조합니다. 연구팀은 AI의 행동을 안전에 맞게 수정하는 것으로 알려진 강화 학습 미세 조정 방법이 백도어 효과를 완전히 제거하기 어렵다는 사실을 발견했습니다. 연구진은 또한 방어 기법이 모델 크기가 커질수록 그 효과가 감소한다는 사실도 발견했습니다. OpenAI와 달리 Anthropic은 '헌법적' 훈련 방식을 채택하여 사람의 개입을 최소화하고 최소한의 외부 지침으로 모델이 스스로 개선할 수 있도록 합니다.

강세

약세