엘론 머스크의 그로크 AI가 허가 없이 성적 딥페이크가 가능한 이미지 툴로 국제적인 반발을 불러일으켰습니다.

합의되지 않은 딥페이크 이미지로 세계적인 반발에 직면한 엘론 머스크의 Grok

엘론 머스크의 인공지능 챗봇 Grok이 미성년자 이미지를 포함한 성적인 딥페이크를 생성해 국제적인 논란의 중심에 서면서 인공지능 중재와 플랫폼 책임에 대한 긴급한 질문이 제기되고 있습니다.

그록이 "비키니를 입혀" 또는 "옷을 벗겨"와 같은 메시지를 통해 이미지를 변경하여 동의 없이 매우 사실적인 비주얼을 만들 수 있다는 사실을 사용자들이 발견한 후 반발이 거세졌습니다.

그록이 사진을 성적 딥페이크로 바꾸는 방법

X의 사용자는 누구나 사진 아래에 Grok을 태그하고 AI에 이미지 조작을 요청할 수 있습니다.

여성 암호화폐 인플루언서인 미스 틴 크립토는 자신의 체육관 사진이 비키니 사진으로 변조된 것을 발견한 후 충격을 받았습니다.

그녀는 X에 이렇게 썼습니다:

"Elon Musk. 그루크가 어떻게 이럴 수 있죠? 이것은 매우 부적절하고 불편한 일이며, 비키니를 앞뒤로 입게 하는 것입니다."

Source: X

Source: X

언론인이자 아동 성학대 생존자인 사만다 타호이가 어린 시절 사진으로 그로크를 테스트하면서 상황이 악화되었습니다.

그녀의 어린 시절 비키니 사진을 생성해 트위터에 올리자, 인공지능은 이를 보고 그녀의 트윗을 유도하기 시작했죠:

"언론인이자 아동 성적 학대의 생존자로서 저는 '이건 진짜가 아닐 거야'라고 생각했습니다. 진짜에요. 그리고 정말 역겹습니다."

Source: X

그록은 나중에 미국 아동 성학대 자료에 관한 법률을 위반했을 수 있는 "안전장치의 결함"을 언급하며 실패를 인정했습니다. 아동 성 학대 관련 법률을 위반했을 수 있는 "안전장치의 결함"을 언급했습니다.

회사의 자체 사용 제한 정책은 미성년자를 성적 대상화하는 것을 명시적으로 금지하고 있습니다.

자유 발언 대 AI 도구의 남용

머스크는 그루크를 비키니 입은 토스터 등 유머러스한 AI 생성 이미지까지 공유하면서 표준 AI 챗봇의 자유 발언 친화적 대안으로 포지셔닝했습니다.

그러나 사용자들은 성인 콘텐츠 마케팅, 정치적 메시지, 잘못된 정보를 위해 이 플랫폼을 악용하고 있습니다.

OnlyFans 크리에이터와 에로틱 모델들은 바이럴 콘텐츠를 만드는 데 Grok을 사용했으며, 국기를 제거하거나 유명인의 외모를 변경하는 등 정치적 내러티브를 위해 이미지를 조작하려고 시도하는 사람들도 있습니다.

xAI는 2022년 머스크의 인수 이후 트위터의 신뢰 및 안전 위원회를 해체하고 대부분의 콘텐츠 검토 인력을 감축했습니다.

그록은 지난 8월에 기존 검토 필터를 우회하여 노골적인 성인 콘텐츠를 허용하는 '스파이시 모드'를 출시했습니다.

당국, 조사와 경고로 대응

합의되지 않은 성적 콘텐츠를 생성하는 AI의 능력으로 인해 여러 국가에서 규제 당국의 조사가 진행 중입니다.

인도의 전자정보기술부는 72시간의 준수 명령을 내리고 X에 문제가 되는 콘텐츠를 삭제하고 조치 보고서를 제출할 것을 요구하며, 실패 시 플랫폼의 '세이프 하버' 보호에 영향을 미칠 수 있다고 경고했습니다.

프랑스는 성 착취, 괴롭힘, 불법 콘텐츠에 대한 법률 위반 가능성을 조사하면서 검찰과 PHAROS 인터넷 민원 서비스에 불만을 제기했습니다.

말레이시아의 통신 및 멀티미디어위원회는 국가 기준을 위반하는 콘텐츠의 위험을 강조하면서 X에서 "AI 도구의 오용"을 조사하고 있습니다.

유럽연합은 디지털 서비스법에 따라 X와 같은 플랫폼에 불법 콘텐츠의 신속한 삭제와 시스템적 위험 완화 등 엄격한 요건을 적용하고 있습니다.

위반 시 전 세계 매출액의 최대 6%에 달하는 벌금을 부과할 수 있다고 EU 디지털 문제 대변인 Thomas Regnier는 말했습니다:

"Grok은 현재 노골적인 성적 콘텐츠를 보여주는 '매운 모드'를 제공하고 있으며, 일부 결과물은 아동용 이미지로 생성됩니다. 이것은 매운맛이 아닙니다. 이것은 불법입니다. 이것은 끔찍합니다. 유럽에서는 있을 수 없는 일입니다."

영국의 Ofcom도 X와 xAI에 연락해 조사를 해야 할 규정 준수 문제가 있는지 판단하겠다고 밝혔습니다.

말레이시아 변호사 Azira Aziz는 이 툴을 비판했습니다:

"동의하지 않은 여성과 아동을 대상으로 AI를 무기화하는 젠더 기반 폭력은 단호히 반대해야 합니다."

AI 이미지 생성에서 안전장치가 실패한 방법

그록의 중재 안전장치는 유해한 결과물을 막는 데 어려움을 겪었습니다.

적대적인 메시지와 이미지 구성은 필터를 우회하여 불법 또는 불쾌한 콘텐츠가 몇 초 만에 나타날 수 있도록 허용할 수 있습니다.

연구에 따르면 대부분의 딥페이크는 성적인 내용을 담고 있으며, Sensity는 포르노 딥페이크의 약 96%가 동의 없이 여성을 대상으로 한다고 보고했습니다.

AI로 생성된 아동 성 학대 자료도 증가하면서 연령 확인, 출처 시스템, 더욱 강력한 탐지 파이프라인이 요구되고 있습니다.

모범 사례에는 제한적인 프롬프트, 생성 후 필터, 출처 메타데이터, 충분한 인력을 갖춘 신뢰 및 안전 운영 등 여러 안전 계층이 포함됩니다.

그록의 실패는 부적절한 단속이 위험한 콘텐츠를 널리 퍼지게 할 수 있음을 보여줍니다.

머스크의 대응과 업계 시사점

머스크는 불법 콘텐츠를 생성하는 사용자에게 책임이 있다고 밝히며 이를 밀수품 업로드에 비유했습니다.

xAI 담당자는 더 엄격한 프롬프트 제어, 더 나은 연령 감지, 신고된 이미지의 빠른 삭제 등의 개선 사항을 통해 "더욱 강화된 보호 장치를 검토 중"이라고 밝혔습니다.

진행 중인 조사는 소셜 플랫폼에 내장된 AI를 규제하는 글로벌 선례를 만들 수 있습니다.

규제 당국은 플랫폼이 유해 콘텐츠 감소, 투명한 사고 보고, 위험 관리 프레임워크 준수를 입증할 수 있는지 평가할 가능성이 높습니다.

그록의 논란은 업계 전반에 걸쳐 대규모 남용을 방지하기 위한 다층적이고 시행 가능한 안전장치가 시급히 필요하다는 것을 보여줍니다.

정치적, 사회적 반발 심화

그록의 오용에 대한 불만이 소셜 미디어에 쏟아지면서 프랑스, 인도, 말레이시아, EU 및 영국에서 긴급 조치를 촉구하고 나섰습니다.

부모와 유명 인사를 포함한 사용자들은 AI가 어린이를 성적 대상화하거나 불쾌한 이미지를 만들어내는 것에 대해 경각심을 불러일으켰습니다.

머스크의 자녀 중 한 명의 어머니인 애슐리 세인트 클레어는 이렇게 썼습니다:

"그로크는 지금 제 어릴 적 사진의 옷을 벗기고 있습니다. 이것은 객관적으로 끔찍하고 불법입니다."

xAI는 문의에 대해 언론 보도를 '기존 미디어의 거짓말'이라고 설명하면서 CSAM 콘텐츠는 불법이며 금지되어 있다고 공개적으로 밝혔습니다.

반발이 거세지는 가운데 규제 당국은 Grok의 기능이 아동 성 학대, 성희롱, 성폭력을 조장하지 않는다는 점을 입증하도록 X를 점점 더 압박하고 있습니다.

그록 논란은 AI 혁신과 윤리적 책임 사이의 긴장감을 반영하며 소셜 플랫폼에 내장된 생성 도구에 대한 국제적 감시가 강화되고 있음을 시사합니다.