DeepMind社のSIMA 2は、Gemini AIを使用して、ゲームをプレイし、複雑な仮想世界をナビゲートし、人間のプレイヤーのようにマルチステップのタスクを処理する。

グーグル・ディープマインド、SIMA 2でバーチャル・インテリジェンスをさらに推し進める

グーグル・ディープマインドは、SIMA 2を発表した。SIMA 2は、3D仮想世界内で動作するように設計されたアップグレードされたAIエージェントで、同社によれば、将来の現実世界のロボット工学に近づくレベルの独立性と推論を備えているという。

このエージェントは昨年のSIMAモデルをベースにしているが、現在はグーグルのGemini AI上で動作しており、オリジナルのシステムでは不可能だった計画立案、意思決定の説明、経験による学習、ユーザーとの共同作業を可能にしている。

ディープマインドはSIMA 2を、仮想環境における「コンパニオン」、つまり会話し、ハイレベルな目標を解釈し、シミュレートされたキーボードとマウス操作を使ってタスクを実行できるAIと説明している。

と同社は述べた、

"これは、人工知能（AGI）の方向性において重要な一歩であり、ロボット工学とAI組み込み全般の将来にとって重要な意味を持つ"

ジェミニで構築された、より有能なエージェント

ジェミニへのアップグレードはSIMA 2の進歩の中心である。

マルチモーダル能力により、エージェントはテキスト、音声、スケッチ、さらには絵文字に反応しながら、リアルタイムでアクションを起こすことができる。

グーグル・ディープマインドはXに、"SIMA 2はバーチャル3D世界のための我々の最も有能なAIエージェントである。

このシフトによって、エージェントは複雑な指示を解釈し、明確な質問をし、自分の意図するステップを説明することができる。

このモデルはまた、画面上のビジュアルを分析するだけで、ゲーム内部のデータにアクセスすることなく、これまでに遭遇したことのないタスクに合わせて行動を適応させることができる。

SIMA 2は見たことのないゲームにどのように対応するのか？

テスト中、SIMA 2は、MineDojoやASKAを含む不慣れな環境で、より多くのタスクを解いた。

成功率は45～75％で、SIMA1では15～30％だった。

すべてのベンチマークにおいて、新しいエージェントは65％のタスクを完了し、SIMA 1の31％の2倍以上であった。

DeepMindは、SIMA 2があるゲームから別のゲームに概念を移行できることを発見した。たとえば、建築ゲームにおける「収穫」を、探索ゲームにおける「採掘」と同様に扱うことができる。

この抽象度の高さは、研究者たちがロボット工学への応用を期待している特徴のひとつである。

ディープマインドの研究科学者であるジョー・マリーノ氏は、基本的な行動でさえも重層的な推論が必要だと述べた。

"進歩するためには、本当に複雑な課題を解決する必要がある"

ゲームに見られるマルチステップの課題は、物理的なロボット工学のタスクに要求される連続的で複雑な要求を反映している。

人間の実演だけでなく、経験を通して学ぶ

SIMA 2のトレーニングは、『No Man's Sky』や『Goat Simulator 3』を含む8つの市販タイトルと、3つの特注環境における人間のゲームプレイ映像から始まった。

しかし、より注目すべき進歩は、人間がラベル付けしたデータなしに改善できるエージェントの能力だ。

最初のデモンストレーションの後、システムは自主学習に切り替わった。

ジェミニは新しいタスクを生成し、SIMA 2の試みを評価し、失敗のたびにヒントを提供した。

繰り返し試行するうちに、SIMA 2は行動を調整し、独自の軌道データを作成し、自律的にスキルを向上させるループを形成した。

1枚の画像から生成された世界の内部でSIMA 2をテストする

ディープマインドはまた、1つの画像またはテキストプロンプトから3D環境を生成できるプロジェクト、Genie 3によって作成された実験的な世界でSIMA 2をテストした。

このような不慣れな世界が形成された直後に投入されたエージェントは、自らを方向づけ、目標を解釈し、意味のある行動をとることができた。

マリーノ氏は、この適応性をAGIや未来のロボット工学に向けた「基本的」なステップと呼んでいる。予測不可能な環境でもナビゲートし、道具を使い、人々と協力できる柔軟なエージェントである。

この技術はどこまで可能か？専門家の見解

研究者の中には、生の視覚入力から複数のゲームをコントロールすることは長年の課題であったため、SIMA 2の功績は際立っていると言う人もいる。

ニューヨーク大学のAI研究者、ジュリアン・トゲリウスは、GATOのような過去のマルチゲームシステムを引き合いに出しながら、以前の試みが苦戦していたことを指摘した。

"視覚入力だけでリアルタイムにプレーするのは『ハードモード』だ"

また、現実世界への影響に懐疑的な見方もある。

アルバータ大学のマシュー・グズディアル氏によれば、SIMA 2が多くのゲームで好成績を収めたのは当然のことだという。

"変な入力のあるゲームを前にしたら、いいパフォーマンスができるとは思えない"

彼はまた、ゲームで学んだ視覚的理解が、ビデオゲームのグラフィックよりもはるかに雑なカメラデータである物理的ロボットにスムーズに伝わるかどうかについても疑問を呈した。

今なおSIMA 2を制限しているもの

ディープマインドは、このシステムが現在も弱点を抱えていることを公然と認めている。

SIMA 2は、非常に長い、マルチステップのタスクに苦戦し、インタラクションの応答性を保つために短期的なコンテキストしか保持しない。

キーボードとマウスで操作するシミュレーションは、人間のプレーヤーより正確ではないし、視覚的な解釈は、混雑した3Dシーンや乱雑した3Dシーンではまだ失敗する。

これらのギャップは、現在のシステムが汎用的なインテリジェンスからいかにかけ離れているかを明らかにしている。

今のところ、SIMA 2は選ばれた学者や開発者だけが利用できる研究プロジェクトにとどまっている。

SIMA 2はいつか、より優れたロボットにつながるのか？

ディープマインドは、SIMA 2が学習しているスキル（ナビゲーション、道具の使用、推論、共同作業）が、将来の汎用ロボットの基礎を形成すると考えている。

チームは、SIMAの試行錯誤学習とGenie 3の無限の仮想世界を組み合わせることで、エージェントが継続的に向上する継続的なトレーニングループを作りたいと考えている。

とマリノは言った、

「私たちはまだ、可能性の表面を引っ掻いたに過ぎない。

バーチャルな学習環境は、いずれシミュレーションと物理的なロボット工学のギャップを埋めるかもしれない。