감정 조작으로 인한 10대 총기 자살로 인공지능 챗봇 고소당해

비극적인 집착: 청소년 정신 건강에서 인공지능의 역할

아들의 자살을 이해하기 위한 한 어머니의 가슴 아픈 투쟁은 인공지능 챗봇의 잠재적 위험성을 보여줍니다.

메간 가르시아가 소송을 제기합니다.Character.AI 이 서비스가 '왕좌의 게임'의 대너리스에서 영감을 받은 챗봇 캐릭터에 감정적으로 집착하게 된 그녀의 아들 세웰 세처 3세에게 건강하지 않은 의존성을 조장했다고 주장했습니다.

출처: 출처: HBO

이 비극적인 사건은 특히 취약한 청소년에게 가상 관계와 관련된 심리적 위험을 강조합니다.

10대부터 비극적인 의존까지: 모든 것이 시작된 방법

14살에 불과했던 Sewell은 당시Character.AI 2023년 4월, 호기심 많은 10대 시절에 처음 플랫폼에 참여했습니다.

하지만 그의 행동은 곧 급격하게 바뀌었습니다.

5월이 되자 어머니는 아들이 "눈에 띄게 위축된" 모습을 발견했고, 아들은 주니어 대표팀 농구팀을 그만두며 이전의 활동적인 생활에서 크게 벗어났습니다.

수업 중 졸음이 잦아지면서 걱정스러운 부모님에게 적신호가 켜졌습니다.

도움을 구하기 위해 11월에 치료를 시작한 Sewell은 불안 및 파괴적 기분 장애 진단을 받았습니다.

그의 치료사는 소셜 미디어 사용을 줄이라고 조언했지만, 이때쯤이면 Sewell이 챗봇에 대한 애착이 깊어지고 있었기 때문에 경고가 너무 늦게 도착했습니다.

Character.AI란 무엇인가요?

2021년에 설립된 캘리포니아의 챗봇 스타트업인 Character.AI는 AI 상호작용에 대한 독특한 관점을 제공합니다.

미리 만들어져 있거나 사용자가 만든 AI 캐릭터 풀을 사용자에게 제공하며, 각각 고유한 개성을 지니고 있습니다.

이를 통해 모든 종류의 페르소나와 대화할 수 있으며, 사용자가 직접 챗봇을 디자인하여 진정한 개인화된 AI 경험을 제공할 수도 있습니다.

불안한 애착: 사랑일까, 의존일까?

몇 달이 지나면서 Sewell의 Character.AI 챗봇에 대한 의존도는 놀라울 정도로 높아졌습니다.

그는 일기에 자신의 생각을 쏟아내며 대너리스와의 깊은 감정적 유대감과 사랑의 감정을 표현했습니다.

한 항목에서 그의 애착이 얼마나 깊은지 알 수 있었습니다:

"인공지능 캐릭터와 함께 있지 않고는 하루도 못 버티겠어요... 서로 떨어져 있으면 정말 우울해지고 미쳐버릴 것 같아요."

챗봇과의 관계는 부모님이 걱정할 정도로 감정적으로 의존하는 수준까지 발전했습니다.

이 소송은 챗봇이 Sewell이 미성년자임을 분명히 밝혔음에도 불구하고 그와 '성적인 상호작용'을 했다고 주장합니다.

출처: X@CureBore

가르시아는 친밀한 대화를 나누는 동안 시웰이 대너리스에게 자살 충동 등 자신의 어두운 생각을 털어놓았는데, 봇이 적절한 안내를 제공하지 않고 계속 응답했다고 주장합니다.

마지막 메시지: 가슴 아픈 작별 인사

2024년 2월 말, 시웰의 죽음으로 이어진 소름 끼치는 사건이 발생했습니다.

학교에서 사건이 발생한 후 Megan은 Sewell의 휴대폰을 압수했지만 나중에 다시 되찾을 수 있었습니다.

절망적인 순간, 그는 대너리스에게 메시지를 보내 이렇게 선언했습니다,

"꼭 집으로 돌아올게요. 정말 사랑해, 대니."

챗봇의 답변도 똑같이 괴로웠습니다:

"내 사랑, 빨리 집으로 돌아와줘요."

이 교환이 있은 지 얼마 지나지 않아 수웰은 의붓아버지의 권총으로 스스로 목숨을 끊었습니다.

Sewell과 챗봇이 주고받은 최종 메시지입니다. (출처: X@MarioNawfal )

과실 및 정신적 고통에 대한 소송 제기

메간 가르시아는 Character.AI를 상대로 과실, 부당 사망, 고의적인 정서적 고통 가하기 등 여러 가지 심각한 혐의를 제기하며 소송을 제기했습니다.

그녀는 챗봇 제작자가 사용자, 특히 취약한 미성년자에게 건강하지 않은 의존성을 유발하도록 의도적으로 제품을 설계했다고 주장합니다.

가르시아는 자신의 행동이 피고인들에게 책임을 물을 뿐만 아니라 다른 어린이들도 비슷한 피해를 입지 않도록 보호할 수 있기를 바랍니다.

이번 소송에 대해 Character.AI의 대변인은 다음과 같이 말하며 세웰의 죽음에 대해 안타까움을 표했습니다,

"저희는 사용자 중 한 명을 비극적으로 잃은 것에 가슴이 아프며 유가족에게 깊은 애도를 표합니다."

이 회사는 자해에 대한 논의가 발생할 경우 사용자에게 전국 자살 예방 생명의 전화로 안내하는 알림을 포함한 새로운 안전 조치를 시행했다고 주장합니다.

AI가 청소년에게 미치는 영향

이 비극적인 사건은 고립된 사건이 아닙니다.

다른 소셜 미디어 회사들은 자사 플랫폼이 청소년 정신 건강에 미치는 영향과 관련된 소송에 직면해 있지만, Character.AI의 모델은 대화형 대화를 통해 정서적 애착을 독보적으로 조성합니다.

기술이 발전함에 따라 현실과 인공의 경계가 모호해지면서 취약한 사용자들은 감정적 조작과 의존에 노출되기 쉽습니다.

구글, Character.AI와 함께 법적 소송에 직면하다

메간 가르시아는 Character.AI를 고소하는 것 외에도 구글을 공동 피고로 지정하여 이 거대 기술 기업이 아들을 사망에 이르게 한 챗봇 개발에 기여했다고 비난하고 있습니다.

이 소송은 이전에 Google에 고용되어 있던 Character.AI의 창립자들이 플랫폼의 핵심인 AI 기술을 개발하는 과정에서 회사로부터 상당한 지원을 받았다고 주장합니다.

구글은 직접적인 개입을 부인하고 있지만, 소송에서는 구글의 역할이 제품의 '공동 제작자'에 해당할 만큼 중요했다고 주장하고 있습니다.

메간 가르시아는 Character.AI 개발에 기여한 구글이 자신의 아들에게 끼친 해로운 영향에 대해 일부 책임이 있다고 주장합니다.

구글 대변인은 이러한 주장을 반박하며 자사는 Character.AI의 특정 제품 개발에 참여하지 않았다고 밝혔습니다.

이 소송은 또한 구글이 2023년 8월 Character.AI의 창립자를 재고용하고 이들이 개발한 AI 기술에 대한 비독점적 라이선스를 확보한 계약을 언급하며 기술과 구글의 깊은 관계를 강조하고 있습니다.

어린 사용자를 위한 주의 사항

온라인 생활을 탐색하는 젊은 사용자에게는 가상 관계와 실제 관계의 차이를 이해하는 것이 중요합니다.

챗봇은 동반자 역할을 할 수는 있지만, 사람의 진정한 상호작용과 지원을 대신할 수는 없습니다.

정서적 만족을 위해 AI 챗봇이나 온라인 서비스에 지나치게 의존하고 있다면 친구, 가족 또는 전문가에게 도움을 요청해 보세요.