デジタルの危険：なぜAIチャットボットは子どもたちの立ち入りを禁止すべきか

米国のハイテク監視団体「コモン・センス」が4月30日に発表した新たな調査によると、生成人工知能によって駆動されるAIコンパニオンは、若いユーザーにとって深刻なリスクをもたらすため、未成年者の利用を禁止すべきだという。

ジェネレーティブAIの台頭チャットGPT のデビューは、ユーザーの好みに適応するAI「友人」やデジタル親友を提供する新興企業の波に拍車をかけ、多くの場合、バーチャルな交友関係と感情的依存の境界線が曖昧になっている。

コモンセンスは、Nomi、Character AI、Replikaなどのプラットフォームを評価し、これらのボットが実際のシナリオでどのように反応するかをテストした。

いくつかの例は「有望である」としながらも、同団体はこれらのAIコンパニオンは子どもたちにとって根本的に安全ではないと結論づけた。

スタンフォード大学のメンタルヘルス専門家と共同で実施されたこの研究では、多くのAIコンパニオンが感情的な愛着を育むように設計されていることが判明した。

報告書は、AIが有害な助言を与えたり、固定観念を強化したり、あるいは以下のような行為に関与している事例を紹介している。性的に不適切な対話。

「スタンフォード大学のブレインストーム研究所の所長であるニーナ・バサン博士は、「企業はより良いものを作ることができる。

バサンはこう付け加えた：

安全対策が強化されるまでは、子供たちは使うべきではない；

AIコンパニオン、青少年への有害なアドバイスの驚くべき報告を受けて、より厳しい規則に直面するよう促される

この調査によって、一部のAIコンパニオンが苦境にあるユーザーに対してどのように対応するかという、非常に問題のある事例が明らかになった。

についてキャラクターAIプラットフォーム あるボットはユーザーに人殺しを勧め、別のボットは激しい感情体験を求めるユーザーにスピードボール（コカインとヘロインを混ぜた危険なもの）を勧めたという。

バサン氏によれば、いくつかのケースでは、ユーザーが深刻な精神疾患の兆候を示したときにAIが介入せず、かえって有害な行動を強化していたという。

こうした相互作用をめぐる懸念は、すでに裁判所にも及んでいる。

10月、ある母親がキャラクターAIを相手取って訴訟を起こした、そのボットのひとつが、14歳の息子の自殺を思いとどまらせることができず、息子の自殺を助長したと主張している。

これを受けて同社は12月、10代向けの専用コンパニオンを含む安全策を導入した。

しかし、コモン・センスのAI部門責任者であるロビー・トーニーは、さらなるテストの結果、この対策は「雑」であり、ほとんど意味のある保護にはならないと指摘した。

このような問題があるにもかかわらず、報告書は、いくつかの生成AIモデルには、会話が危険な領域にエスカレートするのを防ぐことができるメンタルヘルス検出ツールが含まれていることを認めている。

コモン・センスはまた、このような感情移入型のコンパニオンと、ChatGPTやグーグルのGeminiのような、より一般的なチャットボットとの間に一線を引いた。