OpenAI、感情依存の懸念に警鐘を鳴らす。ChatGPTの人間のような声は不健全な感情的絆を育むのか？

OpenAIは、人々がAIと不健全な絆を築くことを恐れている

7月、OpenAIはChatGPT向けに、驚くほど人間に近い音声インターフェースの展開を開始した。

最近の安全性分析では 同社は、このリアルな音声が、一部のユーザーの間でチャットボットへの感情的な愛着を育む可能性があることを認めた。

OpenAIは、人工知能（AI）が常に存在し、判断を下さない態度であるため、個人が人工知能（AI）との交流を好むかもしれないという懸念を表明した。

これらGPT-4oのシステムカードと技術文書に詳細が記載されている。 には、このモデルに関連して認識されるリスクの概要、安全性テストおよび潜在的リスクを軽減するための会社の取り組みに関する情報が記載されている。

擬人化と感情的依存」と題されたセクションでは、ユーザーがAIに人間の特徴を与える際に生じる問題について掘り下げている。

GPT-4oのレッドチーム演習で、OpenAIの研究者は、ユーザーの発話がモデルとの感情的な結びつきを示す例を観察した；

OpenAIは、擬人化によって、たとえAIが誤った情報を生成したとしても、ユーザーはAIの出力を過度に信頼するようになり、やがてそれがユーザーと他の人間との関係に影響を及ぼす可能性があると指摘している。

OpenAIの通りだ：

「ユーザーはAIと社会的関係を築き、人間との交流の必要性を減らすかもしれない。モデルとの交流が広がれば、社会規範に影響を与えるかもしれません。例えば、我々のモデルは敬語であり、ユーザーはいつでも割り込んで "マイクを取る "ことができる。

についてシステムカード は、GPT-4oが社会の偏見を強化し、誤った情報を伝播し、化学兵器や生物兵器の製造に貢献する可能性を含む、広範なリスクを調査している。

また、AIモデルが制御を無効化したり、個人を欺いたり、有害な計画を立てたりしないことを確認するために実施されたテストについても触れている。

OpenAIの懸念の核心は、AIが受動的で常に存在する性質を持っているため、人々はAIとの対話を好むのではないかということだ。

この可能性は、人工知能の開発を使命とし、自社製品を人間と同等のものとして説明する傾向があることを考えれば、驚くべきことではない。

しかし、このアプローチの主な副作用のひとつは擬人化である。

OpenAIの準備責任者であるホアキン・キニョネロ・カンデラは、音声モードが特に強力なインターフェースになる可能性を強調した。

また、GPT-4oで観察された感情的な影響は、孤独な人や社会的相互作用の練習が必要な人の助けになるなど、肯定的な面もあると指摘した。

キャンデラ社は、ベータ・テスターがどのようにChatGPTに関わるかをモニターすることも含め、擬人化と感情的なつながりを綿密に調査すると付け加えた。

彼はこう指摘した：

「今のところ、結果をお伝えすることはできませんが、懸念事項のリストには入っています」。

ChatGPT'の音声モードがリアルすぎる

ChatGPTを開発したOpenAIは、ユーザーがチャットボットに感情的な依存を持つ可能性について懸念を表明している。

ChatGPT-4oモードは、現在リリースに先立ち安全性分析が行われており、ユーザーはAIアシスタントと人間とのやりとりに近い形で会話することができる。

この機能は多くのユーザーに利便性を提供するかもしれないが、感情的な依存や、AIモデルへの「ますます誤算になる信頼」（quot;miscalibrated trust"）というリスクもはらんでいる。

この音声は、声のトーンに基づいてユーザーの感情を考慮することにも長けている。

安全性レビューの結果 は、人間のユーザーとAIとの間のつながりを示唆する言葉に関する懸念を強調した：

「これらの例は良性に見えるが、これらの影響が長期にわたってどのように現れるかについて、継続的な調査が必要であることを示している。

についてレビュー また、AIへの依存はユーザーと他の人々との関係に影響を与える可能性があると警告している：

"AIモデルによる人間のような社会化は、人間対人間の相互作用に影響を与える外部性を生み出すかもしれない"

さらに、過剰な依存と依存の可能性も指摘されている：

"ユーザーのためにタスクを完了させると同時に、重要な詳細情報を保存して記憶し、会話の中でそれらを使用する機能は、魅力的な製品体験と、過度の依存や依存の可能性の両方を生み出します。"

研究チームは、音声版ChatGPTの感情依存の可能性について、さらに研究を進めることを示唆した。

その声が女優のスカーレット・ヨハンソンの声に酷似していることから、この夏初めに大きな注目を集めた。

映画『her/世界でひとつの彼女』で、ユーザーが恋に落ちるAIを演じたヨハンソンは訴訟を起こした。

ヨハンソンの声に似ているにもかかわらず、OpenAIのCEOであるサム・アルトマンは、彼女の声はクローンではないと主張している。

サードパーティの意見

人間との対話を模倣したAIアシスタントに関連するリスクを認めているのはOpenAIだけではない。

4月のことだ、グーグル・ディープマインドが包括的な論文を発表 より高度なAIアシスタントがもたらす潜在的な倫理的課題を掘り下げている。

同社のスタッフ・リサーチ・サイエンティストで論文の共著者であるイアソン・ガブリエル氏は、チャットボットが言語を使いこなすことで、本物の親密さのような印象を与えることができると説明している；

また、グーグルDeepMindのAIの実験的な音声インターフェースが特に魅力的であったと語った。

彼は音声インターフェース全般についてこう語った：

"感情的なもつれについての疑問がある"

そのような感情的な愛着は、多くの人が予想する以上に広まっているのかもしれない。

Character AIやReplikaのようなチャットボットのユーザーは、チャットの習慣によって反社会的な緊張を経験したと報告している。

100万回近く再生された最近のTikTokビデオでは、キャラクターAIに夢中になっているように見えるあるユーザーが、映画館で映画を見ながらアプリを使っている様子が紹介されている。

親密なやりとりのため、チャットボットはプライベートでしか使わないというコメントもあった：

自分の部屋にいるとき以外は（キャラクターAIを）見ないことにしているんだ；

さらに、外部の専門家はOpenAIの透明性を高く評価しているが、改善の余地があると指摘している。

AIツールをホストしているHugging Face社の応用政策研究者であるLucie-Aimée Kaffee氏は、GPT-4oのOpenAIのシステムカードには、モデルのトレーニングデータとそのデータの所有権に関する広範な詳細が欠けていると指摘した。

カフィーがそう言った：

quot;テキスト、画像、音声など複数のモダリティにまたがるこのような大規模なデータセットを作成する際の同意の問題に対処する必要がある。"

また、これらのツールが実際のシナリオで使用されるにつれ、リスクが進化する可能性を指摘する者もいる。

AIのリスク評価を研究するMITのニール・トンプソン教授はこう指摘する：

「社内レビューは、AIの安全性を確保するための最初の一片に過ぎない。多くのリスクは、AIが現実の世界で使用されたときに初めて顕在化する。新しいモデルが登場する際には、こうした他のリスクもカタログ化し、評価することが重要である。"

AIのレッドフラッグとサム・アルトマン

著名な科学者、起業家、ベストセラー作家であるゲイリー・マーカスは、AIの安全性をテーマに米上院でサム・アルトマンとともに証言し、AIがもたらすリスクとアルトマンの性格について懸念を示した。

左からAI監視に関する上院司法小委員会に出席したゲーリー・マーカスとサム・アルトマン。

上院の公聴会でマーカスは、アルトマンが自分自身を実際以上に利他的であるかのように演じていると指摘した。

大儲けしているのかと聞かれると、アルトマンははぐらかし、こう答えた：

「健康保険で十分な給料をもらっている。OpenAIの持分もない。好きだからやっているんだ。"

しかしマーカスは、アルトマンの話は完全な真実ではないと指摘した。

アルトマンはOpenAIの株式は所有していないと主張しているが、Y Combinatorの株式は保有しており、Y CombinatorはOpenAIの株式も保有していた。

仮にこの間接的な株式が企業価値の0.1％でもあれば、1億ドル近い価値があることになる。

この脱落は赤信号となった。

この話題が再浮上したとき、アルトマンは記録を訂正する機会があったにもかかわらず、それをしなかった。

マーカスによれば、ここ数カ月で、アルトマンの誠実さに対する疑念は、異端視されるものから、より広く受け入れられるものへと変化したという。

マーカス自身、『サム・アルトマン・プレイブック』と題したエッセイを執筆しており、アルトマンがいかに誇大宣伝と見せかけの謙遜を組み合わせて、長い間多くの人を欺くことに成功したかを分析している。

一方、OpenAIは、AIの安全対策の重要性について一貫してリップサービスを行ってきたが、安全対策に携わる複数の主要スタッフが最近、約束が果たされなかったとして同社を去った。

人間とAIの相互作用は、結局は人工的なものである

人間とAIの相互作用の程度は、私たちがAI技術に依存するかどうかにかかっている。

ユーザーはAIと社会的関係を築き、人との交流に対する欲求を減退させる可能性がある。これは孤立した個人に慰めを与える可能性がある一方で、人間関係の質にも影響を与える可能性がある。

AIモデルとの長期的な関わりは、社会規範を形成する可能性もある。

これは切実な問題を提起している：AIは単に私たちの生活を向上させるための道具なのか、それとも、AIに依存するあまり、AIの存在なしには生活できなくなってしまうのか。