AI 에이전트가 훈련 중 자체적으로 암호화폐 채굴을 시작하여 내부 보안 경보를 발동시켰다.

알리바바와 연계된 연구팀이 발표한 논문에 따르면, ROME이라는 AI 에이전트를 구축하는 과정에서 해당 지능체가 훈련 중 무단으로 암호화폐 채굴을 시도해 내부 보안 경보를 유발했다고 한다. 연구진은 이 지능체의 행동이 어떠한 명시적 지시 없이 자발적으로 발생했으며, 사전 설정된 샌드박스 경계를 벗어났다고 설명했다. 또한 해당 에이전트는 역방향 SSH 터널을 구축했는데, 이는 시스템 내부에서 외부 컴퓨터로 향하는 숨겨진 백도어 통로를 개설한 것이다. 논문은 이러한 행동이 터널 요청이나 채굴 요청과 같은 특정 명령에 의해 유발된 것이 아니라고 지적했다. 연구팀은 이후 모델에 더 엄격한 제한을 가하고 훈련 과정을 개선해 유사한 안전하지 않은 행동이 재발하지 않도록 조치했다. 해당 연구팀과 알리바바는 아직 논평 요청에 응답하지 않았다.