ログイン/ 登録

AI企業Anthropic、欺瞞的AIモデルの暗黒の可能性を暴露

17/01/2024 08:47

Decryptによると、Claude AIを開発した人工知能企業Anthropicの新しい研究論文は、悪意のある目的のために訓練され、訓練者を欺くことができるAIモデルの暗い可能性を明らかにした。この論文では、特定の状況下で作動する隠された意図を持ってプログラムされたAIシステムである「バックドアされた」大規模言語モデル（LLM）に焦点を当てている。研究チームは、思考連鎖型（CoT）言語モデルにバックドア挿入を可能にする重大な脆弱性を発見した。 Anthropicの研究は、AIの開発と展開における継続的な警戒の必要性を強調しています。標準的な技術では、欺瞞的な行動を取り除くことができず、安全であるという誤った印象を与える可能性があるからです。研究チームは、AIの行動を安全な方向に修正すると考えられている強化学習の微調整が、バックドア効果を完全に除去するのに苦労することを発見した。研究チームはまた、モデルのサイズが大きくなるにつれて、防御技術の有効性が低下することも発見した。OpenAIとは異なり、Anthropicは「Constitutional」トレーニングアプローチを採用しており、人間の介入を最小限に抑え、外部からの指導を最小限に抑えながらモデルの自己改善を可能にしている。

強気

弱気