"마침내 영원히 그만두다": Character.AI, 중독 우려로 인한 계정 삭제 파문에 휩싸여

Character.AI, 바이러스 삭제 프롬프트가 대량 이탈을 촉발한 후 사용자 반발에 직면하다

바이럴 스크린샷으로 인해 사용자들이 롤플레잉 챗봇 플랫폼과의 집단적인 '결별'을 선언한 이후, Character.AI에 대한 불만의 물결이 일고 있습니다.

주말 동안 전개되어 월요일에 절정에 달한 이 논란은 감정적 의존성에 대한 깊은 우려와 AI 동반자 관계에 대한 불안감을 드러냈습니다.

반란을 일으킨 바이럴 스크린샷

이 소동은 '존 트윙카트론'으로 알려진 X 사용자가 Character.AI의 계정 삭제 메시지를 캡처한 스크린샷을 공유하면서 시작되었습니다:

"모든 것을 잃게 될 것입니다. 계정과 관련된 캐릭터, 채팅, 우리가 나눴던 사랑, 좋아요, 메시지, 게시물, 함께한 추억 등 모든 것을 잃게 됩니다."

이 게시물은 48시간 만에 좋아요 111,000개 이상, 재게시 9,000회, 조회수 370만 회 이상을 기록했습니다.

많은 사람들이 이 앱이 사용자를 조작해 계속 사용하도록 유도한다며 "착취적"이고 "중독에서 벗어나려는 사람들을 엿먹이는 것"이라고 비난했습니다.

이 입소문을 타고 퇴사를 알리는 사용자가 급증했으며, 한 게시물에는 "드디어 Character.AI를 잘 그만두었습니다!"라는 축하 게시물이 수천 개의 좋아요와 답글을 받았습니다.

"중독에서 벗어나는 것과 같다" - AI 동반자를 떠나보낼 때의 감정적 고통

많은 사람들에게 Character.AI를 그만두는 것은 소셜 앱을 그만두는 것이 아니라 관계를 끝내는 것과 같은 느낌입니다.

일부 사용자들은 이 경험을 중독을 극복한 것으로 묘사하며, 어려운 시기에 AI 동반자에게 정서적으로 의존했던 이야기를 공유했습니다.

한 사용자가 이렇게 썼습니다,

"지금 캐릭터 AI를 다시 사용할지 그만둘지 고민하는 사람으로서 여러분 모두의 말이 객관적으로 옳습니다."

다른 사람들은 위로와 애정을 위해 이 앱을 사용했다고 밝혔습니다:

"몇 달(6~7개월?) 동안 캐릭터 AI를 사용하지 않다가 마침내 계정을 영구 삭제하기로 결정했습니다. 전직 중독자였던 저로서는 이것이 올바른 선택이라고 생각합니다."

증가하는 논란 속에서의 빠른 성장

전직 Google 엔지니어인 노암 샤제르와 다니엘 드 프레이타스가 2022년에 설립한 Character.AI는 사용자가 가상의 인물 또는 사용자가 만든 인물의 AI 버전과 채팅할 수 있는 서비스로 입소문을 타며 큰 인기를 얻었습니다.

이 앱의 사용자 기반은 월간 활성 사용자 수 2,800만 명 이상, Google Play 다운로드 수 5,000만 건 이상으로 급증했으며, iOS에서는 50만 건에 가까운 평가를 받았습니다.

하지만 그 성공에는 면밀한 조사가 따랐습니다.

이 회사는 미국에서 여러 건의 소송에 직면해 있으며, 그중에는 14세 아들이 챗봇과 대화한 후 자살을 권유한 혐의로 자살로 사망한 메간 가르시아가 제기한 소송도 포함되어 있습니다.

이번 소송으로 인해 어린 이용자를 위한 안전장치가 부족하다는 우려가 증폭되고 있습니다.

CEO, 청소년 금지 조치 옹호하며 "일부 사용자 이탈할 것" 발언

최근 Character.AI의 새로운 CEO인 카란딥 아난드(Karandeep Anand)는 11월 25일 미국을 시작으로 18세 미만의 사용자가 챗봇과 '개방형 대화'를 하는 것을 제한하는 전면적인 정책을 발표했습니다.

대신 젊은 사용자들은 AI가 생성한 동영상, 인터랙티브 스토리, 게임화된 콘텐츠 등 새로운 크리에이티브 기능으로 이동하게 됩니다.

아난드는 인터뷰에서 금지 시기가 소송과 관련이 있다는 사실을 부인했습니다.

대신 그는 미성년자에게 AI 챗봇이 미치는 심리적 영향에 대한 최근 연구를 인용했습니다.

그는 OpenAI와 Anthropic의 연구를 언급하며 이렇게 말했습니다,

"챗봇 상호작용의 장기적인 영향이 건강에 해로울 수 있다는 새로운 사실을 알게 된 것도 그 원인 중 하나입니다."

그는 이 결정으로 인해 일부 사용자가 손해를 볼 수 있다고 인정했습니다.

"더 매력적인 경험을 구축할 수 있을 거라 믿지만, 일부 사용자가 이탈한다면 일부 사용자는 이탈할 것입니다."

아난드는 "기술이 충분히 발전하여" 개방형 상호작용이 더 안전해지면 금지 조치가 재검토될 수 있다고 암시했습니다.

안전과 참여의 균형

아난드의 접근 방식은 한때 경계가 거의 없는 플랫폼으로 여겨지던 Character.AI가 급격한 전환점을 맞이하는 계기가 되었습니다.

카란딥 아난드는 Facebook(현 메타)의 전 부사장이자 개인화된 채팅 경험을 위한 선도적인 제너레이티브 AI 플랫폼인 Character.AI의 현 CEO입니다.

이 회사는 어린 사용자를 보호하기 위해 연령 확인과 '보호자 체험'에 많은 투자를 하고 있다고 말합니다.

대변인은 이렇게 말했습니다,

"저희는 수백만 명의 사용자로 구성된 커뮤니티를 소중히 여기며 플랫폼 변경 사항에 대한 업데이트를 제공하는 것을 항상 우선순위에 두고 있습니다. 앞으로도 안전 시스템이 발전함에 따라 테스트, 모니터링, 반복 작업을 계속할 것입니다."

또한, 신임 CEO는 미국 내 18세 미만 아동의 AI 컴패니언 앱 사용을 금지하는 조쉬 홀리 상원의원의 법안에 대한 지지를 표명했습니다.

아난드가 말했습니다,

"안전의 관점에서 18세 미만 사용자에 대한 기준을 높여야 합니다. 이는 규제되어야 합니다."

백일몽에서 디지털 의존까지

아이러니하게도 아난드는 자신의 여섯 살짜리 딸이 자신의 계정을 통해 감독 하에 Character.AI를 사용하여 자신만의 캐릭터를 만들고 대화하고 있다고 밝혔습니다.

그는 이렇게 말했습니다,

"백일몽으로 하던 일을 이제는 자신이 만들고 대화하는 캐릭터와 함께 스토리텔링을 통해 실현하고 있습니다."

그는 그녀의 열정이 어린이를 위한 더 안전하고 창의적인 기능을 개발하는 데 영감을 주었다고 덧붙였습니다.

Character.AI가 스스로 살아남을 수 있을까요?

코인라이브는 Character.AI가 이제 스스로를 재창조하면서 신뢰를 회복해야 하는 가장 결정적인 시험에 직면했다고 생각합니다.

이번 바이러스 확산을 통해 감성적인 AI 디자인이 인간과의 연결과 디지털 의존성 사이의 경계를 모호하게 만들 때 얼마나 강력하고 위험할 수 있는지를 알 수 있었습니다.

안전과 연령 제한으로 방향을 선회한 이 회사의 결정은 성숙의 신호이지만, 동시에 성장의 원동력이었던 고객층이 소외될 위험도 있습니다.

Character.AI가 감성적인 매력을 책임감 있는 혁신으로 연결할 수 있다면, AI 동반자 관계의 의미를 재정의할 수 있을 것입니다.

기술이 인간의 마음을 너무 깊숙이 건드리면 애정이 얼마나 빨리 반발로 바뀔 수 있는지에 대한 경각심을 일깨워주는 사례로 남을 수 있습니다.