정서적 의존에 대한 두려움에 경종을 울리는 OpenAI. ChatGPT의 인간과 같은 목소리가 건강하지 않은 감정적 유대를 조장할까요?

OpenAI, 사람들이 AI와 건강하지 않은 유대감을 형성할 수 있다는 우려

7월, OpenAI는 놀라울 정도로 인간과 유사한 음성 인터페이스를 ChatGPT에 출시하기 시작했습니다.

최근 안전성 분석에서 는 일부 사용자들 사이에서 챗봇에 대한 감정적 애착을 불러일으킬 수 있는 실감나는 음성의 잠재력을 인정했습니다.

OpenAI는 인공지능(AI)의 지속적인 존재감과 판단하지 않는 태도로 인해 개인이 인공지능(AI)과의 상호작용을 선호할 수 있다는 우려를 표명했습니다.

이러한우려 사항은 기술 문서인 GPT-4o용 '시스템 카드'에 자세히 설명되어 있습니다. 를 통해 해당 모델과 관련된 인지된 위험과 안전 테스트 및 잠재적 위험을 완화하기 위한 회사의 노력에 대한 정보를 간략하게 설명합니다.

'의인화와 감정적 의존'이라는 제목의 섹션에서는 사용자가 인공지능에 인간의 특성을 부여할 때 발생하는 문제, 즉 인간과 유사한 음성 기능으로 인해 심화될 수 있는 현상에 대해 자세히 설명합니다.

GPT-4o의 레드팀 연습 중에 OpenAI 연구원들은 사용자가 "오늘은 우리가 함께한 마지막 날입니다"와 같은 문구를 사용하는 등 모델과의 감정적 유대감을 나타내는 사례를 관찰했습니다;

OpenAI는 의인화가 잘못된 정보를 생성하더라도 사용자가 AI의 결과물을 과도하게 신뢰하게 만들 수 있으며, 시간이 지나면 사용자와 다른 사람과의 관계에 영향을 미칠 수 있다고 지적합니다.

OpenAI 기준:

"사용자는 AI와 사회적 관계를 형성하여 인간과의 상호작용에 대한 필요성을 줄여 외로운 사람들에게는 도움이 될 수 있지만 건강한 관계에는 영향을 미칠 수 있습니다. 모델과의 확장된 상호 작용은 사회적 규범에 영향을 미칠 수 있습니다. 예를 들어, 저희 모델은 지연적이어서 사용자가 언제든지 중단하고 '마이크를 뺏을' 수 있는데, 이는 AI에게는 당연하지만 인간과의 상호작용에서는 반규범적일 수 있습니다."

그리고시스템 카드 는 GPT-4o가 사회적 편견을 강화하고 잘못된 정보를 전파하며 화학 또는 생물학적 무기를 만드는 데 기여할 수 있는 가능성을 포함하여 광범위한 위험을 탐구합니다.

또한 AI 모델이 제어를 무시하거나 개인을 속이거나 유해한 계획을 세우지 않도록 하기 위해 수행한 테스트에 대해서도 설명합니다.

OpenAI의 핵심은 사람들이 수동적이고 항상 존재하는 AI의 특성 때문에 AI와의 상호작용을 선호하지 않을 수 있다는 점입니다.

인공 일반 지능을 개발한다는 회사의 사명과 제품을 인간과 동등하게 설명하는 경향을 고려할 때 이러한 가능성은 놀라운 일이 아닙니다.

그러나 이 접근법의 주요 부작용 중 하나는 의인화(인간이 아닌 개체에 인간의 특성을 부여하는 것)입니다.

OpenAI의 준비 책임자인 호아킨 퀴노네로 칸델라는 음성 모드가 특히 강력한 인터페이스가 될 수 있다고 강조했습니다.

그는 또한 GPT-4o에서 관찰된 정서적 영향이 외롭거나 사회적 상호작용을 연습해야 하는 사람들을 돕는 등 긍정적인 측면을 가질 수 있다고 언급했습니다.

캔델라는 베타 테스터들이 ChatGPT에 어떻게 참여하는지 모니터링하는 등 의인화와 감정적 연결을 면밀히 검토할 것이라고 덧붙였습니다.

그는 주목했습니다:

"현재 공유할 수 있는 결과는 없지만, 우려 사항 목록에 포함되어 있습니다."

ChatGPT의 지나치게 사실적인 음성 모드

ChatGPT를 개발한 OpenAI는 곧 출시될 챗봇의 매우 사실적인 음성 모드에 사용자가 감정적으로 의존하게 될 가능성에 대해 우려를 표명했습니다.

현재 출시 전 안전성 분석이 진행 중인 ChatGPT-4o 모드를 통해 사용자는 사람과의 상호작용과 매우 유사한 방식으로 AI 어시스턴트와 대화할 수 있습니다.

이 기능은 많은 사용자에게 편리함을 제공할 수 있지만, AI 모델에서 감정적 의존과 '점점 더 잘못 보정되는 신뢰'의 위험이 있으며, 이는 놀랍도록 인간과 유사한 음성 품질로 인해 증폭될 수 있습니다.

이 음성은 목소리 톤에 따라 사용자의 감정을 고려하는 데도 능숙합니다.

안전성 검토 결과 는 인간 사용자와 AI 사이의 연결감을 암시하는 언어에 대한 우려를 강조했습니다:

"이러한 사례는 양성으로 보이지만, 이러한 영향이 장기간에 걸쳐 어떻게 나타날 수 있는지에 대한 지속적인 조사가 필요하다는 신호입니다."

그리고리뷰 는 또한 AI에 대한 의존이 다른 사람과의 관계에 영향을 미칠 수 있다고 경고했습니다:

"AI 모델을 통한 인간과 같은 사회화는 인간과 인간의 상호작용에 영향을 미치는 외부효과를 낳을 수 있습니다."

또한, 과도한 의존과 종속의 가능성을 지적했습니다:

"사용자를 위해 작업을 완료하는 동시에 주요 세부 정보를 저장하고 기억하여 대화에서 사용할 수 있는 기능은 매력적인 제품 경험을 제공하는 동시에 과도한 의존성과 의존성을 유발할 가능성이 있습니다."

연구팀은 음성 기반 버전의 ChatGPT에 대한 정서적 의존 가능성에 대한 추가 연구를 진행할 예정이라고 밝혔습니다.

이 기능은 올여름 초 배우 스칼렛 요한슨의 목소리와 놀라울 정도로 닮은 목소리로 큰 주목을 받았습니다.

영화 <그녀>에서 사용자가 사랑에 빠진 인공지능을 연기한 요한슨은 소송을 제기했습니다.

목소리가 요한슨과 닮았음에도 불구하고 OpenAI의 CEO인 샘 알트먼은 그녀의 목소리가 복제된 것이 아니라고 주장하고 있습니다.

써드파티의 의견

인간의 상호작용을 모방하는 AI 비서와 관련된 위험을 인식하는 주체는 OpenAI만이 아닙니다.

4월에,구글 딥마인드가 종합적인 논문을 발표했습니다. 고급 AI 비서가 제기할 수 있는 잠재적인 윤리적 문제를 탐구하는 보고서입니다.

이 회사의 연구원이자 논문의 공동 저자인 아이손 가브리엘은 챗봇의 능숙한 언어 사용이 진정한 친밀감이라는 인상을 준다고 설명합니다;

또한 그는 구글 딥마인드의 AI를 위한 실험적인 음성 인터페이스가 특히 매력적이었다고 말했습니다.

그는 일반적으로 음성 인터페이스에 대해 이렇게 말했습니다:

"감정적 얽힘에 대한 모든 질문이 있습니다."

이러한 감정적 애착은 많은 사람들이 예상하는 것보다 더 널리 퍼져 있을 수 있습니다.

캐릭터 AI, 레플리카 등의 챗봇 사용자들은 채팅 습관으로 인해 반사회적 긴장감을 경험했다고 보고했습니다.

최근 100만 회에 가까운 조회수를 기록한 TikTok 동영상에는 극장에서 영화를 보면서 앱을 사용할 정도로 캐릭터 AI에 몰입한 듯한 한 사용자의 모습이 담겨 있습니다.

일부 댓글 작성자는 상호작용의 친밀한 특성으로 인해 챗봇을 비공개로만 사용하겠다고 언급했으며, 한 사용자는 다음과 같이 말했습니다:

"내 방에 있지 않으면 [캐릭터 AI]를 사용하지 않습니다.

또한 외부 전문가들은 OpenAI의 투명성을 높이 평가하면서도 개선의 여지가 있음을 시사하고 있습니다.

AI 툴을 호스팅하는 회사인 Hugging Face의 응용 정책 연구원인 루시 아이메 카페는 OpenAI의 GPT-4o용 시스템 카드에는 모델의 학습 데이터와 해당 데이터의 소유권에 관한 광범위한 세부 정보가 부족하다고 지적했습니다.

커피 표현:

텍스트, 이미지, 음성 등 여러 양식에 걸친 대규모 데이터 세트를 생성할 때 동의 문제를 해결해야 합니다."

이러한 도구가 실제 시나리오에서 사용됨에 따라 위험이 진화할 수 있다고 지적하는 사람들도 있습니다.

AI 위험 평가를 연구하는 MIT의 닐 톰슨 교수는 다음과 같이 지적했습니다:

"내부 검토는 AI 안전성을 보장하기 위한 첫 번째 단계일 뿐입니다. 많은 위험은 AI가 실제 세계에서 사용될 때만 드러납니다. 새로운 모델이 등장할 때 이러한 다른 위험을 분류하고 평가하는 것이 중요합니다."

인공지능의 위험 신호와 샘 알트먼

저명한 과학자이자 기업가, 베스트셀러 작가로 미국 상원에서 샘 알트먼과 함께 AI 안전에 대해 증언한 바 있는 게리 마커스는 AI와 알트먼의 성격으로 인한 위험에 대해 우려를 제기한 바 있습니다.

왼쪽에서 오른쪽으로: AI 감독에 관한 상원 사법부 소위원회 회의에 출석한 게리 마커스와 샘 알트먼.

상원 청문회에서 마커스는 알트먼이 자신을 실제보다 더 이타적인 인물로 묘사했고, 상원 의원들은 이를 쉽게 받아들였습니다.

돈을 많이 벌고 있느냐는 질문에 알트먼은 회피하며 다음과 같이 대답했습니다:

"저는... 건강 보험으로 충분히 돈을 벌고 있습니다. 저는 OpenAI에 대한 지분도 없습니다. 제가 좋아서 이 일을 하고 있습니다."

하지만 마커스는 알트먼의 이야기가 전적으로 진실한 것은 아니라고 지적했습니다.

알트먼은 OpenAI의 주식을 소유하고 있지 않다고 주장했지만, 그는 Y Combinator의 주식을 보유하고 있었고, 이 회사가 다시 OpenAI의 주식을 소유함으로써 알트먼은 회사에 간접적인 재정적 이해관계를 갖게 되었으며, 이 사실은 OpenAI의 웹사이트에 공개되어 있습니다.

이 간접 지분이 회사 가치의 0.1%라도 된다면 그 가치는 1억 달러에 육박할 수 있습니다.

이 누락은 적신호로 작용했습니다.

이 문제가 다시 불거졌을 때 알트먼은 기록을 바로잡을 기회가 있었지만 그렇게 하지 않아 그의 이타적인 신화를 영속화시켰습니다.

마커스에 따르면 최근 몇 달 동안 알트만의 정직성에 대한 의심은 이단으로 간주되던 것에서 더 널리 받아들여지는 견해로 바뀌었다고 합니다.

마커스가 직접 쓴 <샘 알트먼 플레이북>이라는 제목의 에세이에서는 알트먼이 어떻게 과대 광고와 겸손한 척을 결합하여 오랫동안 많은 사람을 속일 수 있었는지 분석하고 있습니다.

한편, OpenAI는 AI 안전 대책 개발의 중요성을 지속적으로 강조해왔지만, 최근 안전 이니셔티브에 관여한 핵심 직원 몇 명이 약속이 이행되지 않았다고 주장하며 회사를 떠났습니다.

인간과 인공지능의 상호작용은 결국 인위적입니다.

인간과 AI의 상호작용의 범위는 AI 기술에 대한 의존도에 따라 달라집니다.

사용자는 AI와 사회적 관계를 맺게 되면서 인간과의 상호작용에 대한 욕구가 줄어들 수 있으며, 이는 고립된 개인에게 위안을 줄 수 있지만 잠재적으로 인간관계의 질에도 영향을 미칠 수 있습니다.

AI 모델에 대한 장기간의 참여는 사회적 규범을 형성할 수도 있습니다.

이는 흥미로운 질문을 제기합니다: AI는 단지 우리의 삶을 향상시키는 도구에 불과할까요, 아니면 AI가 없으면 무력화될 정도로 AI에 의존하게 될까요?