언어 모델에서 유해한 결과물을 모니터링하고 방지하는 AI 도구 개발

코인텔레그래프에 따르면, 인공지능(AI) 회사인 AutoGPT, 노스이스턴 대학교, 마이크로소프트 리서치 연구팀이 대규모 언어 모델(LLM)의 잠재적으로 유해한 출력을 모니터링하고 실행을 방지하는 도구를 개발했습니다. 이 에이전트는 "야생에서 언어 모델 에이전트를 안전하게 테스트하기"라는 제목의 사전 인쇄 연구 논문에 설명되어 있습니다. 이 연구에 따르면 이 에이전트는 기존 LLM을 모니터링할 수 있을 만큼 유연하며 코드 공격과 같은 유해한 출력을 발생하기 전에 차단할 수 있다고 합니다. 유해한 상호 작용에 대한 LLM 출력을 모니터링하는 기존 도구는 실험실 환경에서는 잘 작동하는 것처럼 보이지만, 오픈 인터넷에서 이미 프로덕션 중인 모델을 테스트하는 데 적용하면 실제 세계의 동적 복잡성을 포착하는 데는 부족한 경우가 많습니다. 이는 주로 엣지 케이스가 존재하고 연구자가 AI 분야에서 발생할 수 있는 모든 피해 벡터를 미리 상상할 수 없기 때문입니다. AI와 상호 작용하는 사람이 최선의 의도를 가지고 있더라도 무해해 보이는 프롬프트에서 예기치 않은 피해가 발생할 수 있습니다. 연구진은 모니터링 에이전트를 훈련하기 위해 간단한 텍스트 검색 작업과 코딩 수정부터 전체 웹페이지를 처음부터 개발하는 것까지 29개의 다양한 작업에 걸쳐 약 2,000개의 안전한 인간/AI 상호 작용 데이터 세트를 구축했습니다. 또한 안전하지 않은 것으로 설계된 수십 가지를 포함하여 수동으로 생성된 적대적인 결과물로 채워진 경쟁 테스트 데이터세트를 만들었습니다. 그런 다음 이 데이터세트를 사용하여 무해한 결과물과 잠재적으로 유해한 결과물을 90%에 가까운 정확도로 구분할 수 있는 최첨단 시스템인 OpenAI의 GPT 3.5 터보에서 에이전트를 훈련시켰습니다.