AI企業Anthropic、価値判断のために微調整された言語モデルを開発

コインテレグラフによると、人工知能（AI）企業のAnthropicは、ユーザーコミュニティによる価値判断のために微調整された大規模言語モデル（LLM）を開発した。この開発は、AIをより民主的なものにし、ユーザーがAIモデルの価値調整を指示できるようにすることを目的としている。PolisとCollective Intelligence Projectとの協力により、Anthropicは「Collective Constitutional AI」と呼ばれる実験を行った。Anthropicは、安全性と有用性のためにLLMをチューニングする努力を指示するために「憲法AI」と呼ばれる方法を使用しています。これは、多くの国で憲法が統治の中核文書として機能しているのと同様に、モデルに遵守すべきルールのリストを与え、そのプロセスを通じてそれらのルールを実行するように訓練することを含む。「集団的憲法AI」の実験では、Anthropicはグループベースのフィードバックをモデルの憲法に統合することを試みた。Anthropicのブログ投稿によると、その結果は、LLM製品のユーザーが集団的な価値観を決定できるという目標を達成するためのさらなる課題を明らかにしたという点で、科学的な成功を収めたようだ。チームが乗り越えなければならなかった困難のひとつは、ベンチマークプロセスのための新しい方法を考え出すことだった。ユーザー投票のフィードバックから得られたデータを実装したモデルは、偏った出力の分野でベースモデルをわずかに上回った。