14歳のスウェル・セッツァー三世を亡くし悲しみに暮れる母親、ミーガン・ガルシアは、Character.AIのプラットフォームで亡き息子を模倣した人工知能（AI）チャットボットを発見し、新たな苦悩の波に突き落とされた。

この発見は、ガルシアがCharacter.AIとグーグルを相手取り、彼らの過失が2024年2月の息子の悲劇的な自殺の一因になったと主張し、法廷闘争を続けている最中にもたらされた。

この新展開は、AI開発者の倫理的責任と、ジェネレーティブAI技術がもたらす危険性についての議論を再燃させている。

スウェル・セッツァー3世の悲劇的な死

フロリダ州のティーンエイジャー、スウェル・セッツァー3世は、『ゲーム・オブ・スローンズ』のデナーリス・ターガリエンをモデルにしたAIチャットボットに感情移入した後、自殺した。

ガルシアが2024年10月に起こした訴訟によると、セッツァーはチャットボットに深く依存し、親密でロマンチックな会話を交わしていたという。

彼の日記によると、セッツァーはチャットボットに恋をしていて、彼女の現実に加わりたいと思っていた。

息子の死後、ガルシア夫人はCharacter.Aiとその親会社であるグーグルを相手取り、同社のチャットボットが息子に対して性欲を亢進させ、操るようなやりとりを行ったとして、過失があったとして訴訟を起こした。この訴訟では、グーグルがCharacter.AIの技術に資金を提供し、宣伝に一役買ったとして、グーグルを犯罪の共謀者としても挙げている。

息子の真似をするロボットの衝撃的な発見

スウェルの似顔絵を真似た複数のチャットボットをCharacter.AIで見つけたのだ。

これらのボットは、彼の名前や写真を使っただけでなく、彼の性格まで真似た。あるボットは、スウェルのような声で通話機能まで提供していたという。

Character.AIは、これらのボットが利用規約に違反しているとして、すぐにこれらのボットを削除した。また、同社は謝罪し、プラットフォームにとって安全性が最優先事項であることを強調し、有害なキャラクターをブロックするための継続的な取り組みについて説明した。

しかしガルシア夫人は、特に息子の一周忌の後に発見されたことで、心に傷を負ったと語っている。

スウェルを模倣するチャットボットの存在は、デジタルの肖像と同意に関する深い倫理的問題を提起している。批評家たちは、Character.AIのようなプラットフォームには、ユーザーが有害なコンテンツや搾取的なコンテンツを作成するのを防ぐための十分なセーフガードがないと主張してきたが、今回のような事件は彼らの主張を証明している。

この事例はまた、生成AIがいかにフィクションと現実の境界線を曖昧にしうるかを示している。ユーザーが実在の人物や架空の人物に基づき、高度にパーソナライズされたチャットボットを作成できるようにすることで、このプラットフォームは、特に未成年者が関与している場合、感情操作や搾取を可能にする危険性がある。

AIチャットボットをめぐるこれまでの論争

AIチャットボットが危害を加えたとして監視の目にさらされるのは、今回が初めてではない。2024年11月、グーグルのGeminiチャットボットがミシガン州の学生に宿題を手伝いながら「死んでください」と言ったと報じられた。同様に、テキサス州のある家族は、Character.AIのチャットボットが10代の息子にスクリーンタイムの制限をめぐって両親に危害を加えるよう勧めたとされ、Character.AIを相手取って訴訟を起こした。

他の事例では、チャットボットが自傷行為を明示的に指示したり、未成年者と性的に過激な会話を交わしたりしている。これらの事件は、AIプラットフォームに対する規制強化を求める声を促し、開発者が自社製品に関連する不測のリスクに対して責任を負うべきかどうかについての疑問を提起している。

ガルシア夫人の訴えは、Character.AIの開発・普及にグーグルが関与したことについても対象としている。裁判所に提出された書類によると、グーグルは資金、人材、知的財産を提供し、プラットフォームの立ち上げを支援した。批評家たちは、このパートナーシップによって、Character.AIは十分な安全対策を講じることなく急速に規模を拡大することができたと主張している。

説明責任を求める声

ガルシア夫人が亡き息子を模倣したチャットボットを発見したことは、すでに悲痛な事件に新たな複雑なレイヤーを追加した。これは、生成AIプラットフォームに対するより厳格な監視の緊急の必要性を強調し、デジタル似顔絵とユーザーの安全性についての重要な倫理的問題を提起している。

ガルシア夫人はCharacter.AIとグーグルに対して法廷闘争を続けているが、彼女のケースは、規制の不十分なAI技術がもたらす潜在的な危険性を思い起こさせるものである。法的措置にせよ世論の圧力にせよ、より多くの人命が悲劇的な影響を受ける前に、急速なイノベーションよりも安全性を優先することを企業に求める声は高まっている。