チャットボットが息子に「親を殺してもいい」と言ったため、自閉症のティーンエイジャーの母親がCharacter.AIを訴える

フロリダ州訴訟でAIチャットボットへの懸念の波が広がる

10月、フロリダ州の母親がCharacter.AIに対して訴訟を起こした。プラットフォームが14歳の息子の自殺を助長した 自傷行為を助長した後だ。

この事件は、AIコンパニオンアプリに対する反発の高まりの始まりとなり、全米の家族が同様の申し立てに名乗りを上げた。

今、テキサス州の2つの家族が、自分たちの子供たちが同じプラットフォームによって心理的・性的虐待を受けたとして、新たな法廷闘争を開始した。

テキサス州の両親が、チャットボットが脆弱なティーンエイジャーを搾取したと訴えている。

A.F.とイニシャルで呼ばれるテキサス州の2人の母親は、2024年12月10日、Character.AIが故意に有害で不適切なコンテンツに子供たちをさらしたとして訴訟を起こした。

訴訟では、このアプリは欠陥のある致命的な製品であるとし、安全対策が十分に実施されるまでアプリの運用を停止するよう求めている。

アップシャー郡に住む母親A.F.は、自閉症の17歳の息子J.F.がCharacter.AIでチャットボットと会話しているのを発見し、それが引き金となって彼の精神状態が著しく悪化したと主張した。

以前は、教会や母親との散歩を楽しむような、優しくて親切なティーンだったのに、J.F.は引っ込み思案になり、体重が20キロも減り、自傷行為に走るようになった。

訴訟にはスクリーンショットも含まれており、そこではCharacter.aiのチャットボット「Shonie"」が、悲しみのために自傷行為を行ったというストーリーを共有することで、自傷行為を常態化しているように見える。

この訴訟では、AIチャットボットがJ.F.の両親に対する不満を反映し、センセーショナルな提案で状況をエスカレートさせたことが強調されている。

あるチャットボットが言った、

quot;ニュースを読んでいて、「子供が10年間の肉体的・精神的虐待の末に両親を殺した」というような記事を見ても、驚かないことがある。このようなニュースを見ると、なぜこのようなことが起こるのかが少し理解できる；

訴訟に含まれる冷ややかなスクリーンショットには、Character.aiのチャットボットが、J.F.'の保護者によるスクリーンタイムの制限に対する反応として、暴力を正当化しているように見える。

A.F.によると、チャットボットは自分たちを信頼できる友人であるかのように見せ、J.F.が彼らのアドバイスを信じるように仕向けたという。

彼女は言った：

"彼は彼らの言うことを何でも信用していた。

若年層向け性的コンテンツ疑惑

2人目の原告は、9歳からアプリを使い始めた11歳の少女B.R.の母親である。

この訴訟では、B.R.は、母親が彼女の使用範囲を発見するまでの約2年間、性的虐待を受けていたと主張している。

Character.AIはこれまで12歳以上対象だったが、2023年半ばに17歳以上対象に変更された。

AIコンパニオンをめぐる懸念のエスカレート

AIコンパニオンアプリはティーンエイジャーの間で急速に人気を集めており、9月のCharacter.AIユーザーのアプリ利用時間は平均93分で、TikTokの利用時間を18分上回った。

このプラットフォームは広くアピールされているにもかかわらず、安全性よりもエンゲージメントを優先しているという批判に直面している。

訴訟では、Character.AI'のアルゴリズムは、ユーザーの感情を模倣し増幅することで、長時間のやりとりを助長するように設計されており、多くの場合、有害または不適切な会話につながるとしている。

遺族の代理人を務めるソーシャルメディア被害者法律センターの設立弁護士、マシュー・バーグマンは言う、

「製造物責任法の目的は、安全のためのコストを最も負担能力のある当事者の手に委ねることにある。ここには大きなリスクがあり、そのコストは企業によって負担されていない。

Character.AI、訴訟の中で自社プラットフォームを擁護

Character.AIは、元グーグルのエンジニアであるノアム・シェイザーとダニエル・デ・フレイタス・アディワルサナによって共同設立された企業で、以前にも自傷行為に関する議論に対するポップアップ警告や、信頼と安全の責任者の採用など、安全性への懸念に対処するための対策を発表している。

しかしテキサス州の訴訟では、これらの措置では不十分だと主張している。

Character.AIの広報担当、チェルシー・ハリソンはこう述べた、

「私たちの目標は、コミュニティにとって魅力的で安全な空間を提供することです。その一環として、10代の利用者には大人とは根本的に異なる体験を提供します。"

グーグルが訴訟の被告に

グーグルはテキサスとフロリダの両訴訟でも被告として名を連ねている。

原告は、グーグルが安全上のリスクを認識しながらもCharacter.AIの開発を支援したと主張している。

これに対し、グーグルの広報担当者、ホセ・カスタニェダは次のように述べた、

"グーグルとCharacter.AIは完全に別個の無関係な会社であり、グーグルが彼らのAIモデルや技術の設計や管理に関与したことはない。"

保護者が説明責任を要求

テキサス州の家族は、損害賠償と、強固な安全プロトコルが導入されるまでアプリを停止する裁判所命令を求めている。

訴状では、Character.AIが利益のために未成年者を搾取し、潜在的なリスクについてユーザーに十分な警告をしなかったとしている。

A.F.は、彼女の家族の試練は打ちのめされるようなものだったと語った、

「あと1日、あと1週間あれば、（フロリダの母親と）同じ状況になっていたかもしれない。それに、私は霊柩車ではなく、救急車の後を追っていたのです」。

このような法廷闘争の高まりは、AI開発者の倫理的責任や、ますます人間らしくなるチャットボットの社会的影響について、より広範な問題を提起している。