グーグルのジェミニ1.5プロがAIベンチマークでトップ、ChatGPT-4oを上回る

8月1日、Google'のGemini 1.5 Proがひっそりと発表され、生成AIベンチマークでOpenAIのChatGPT-4oを上回り、瞬く間に話題となった。実験的と銘打たれたこの新モデルは、最近のベンチマーク・スコアによれば、AIコミュニティでトップ・パフォーマーとなっている。

AIモデルのベンチマーク

OpenAI'のChatGPTはGPT-3以来、ジェネレーティブAIのベンチマークリーダーである。その最新版であるGPT-4oは、Anthropic'のClaude-3とともに、過去1年間ほとんどの一般的なベンチマークを支配してきた。重要なテストの1つであるLMSYS Chatbot Arenaは、様々なタスクでAIモデルを評価し、総合的な能力スコアを割り当てる。GPT-4oは1,286点、Claude-3は1,271点だった。

前バージョンのジェミニ1.5プロのスコアは1,261であった。しかし、最新の実験バージョン（Gemini 1.5 Pro 0801）は1,300のスコアを達成し、競合他社よりも総合的な能力が高いことを示している。ベンチマークスコアは性能の指標にはなるが、AIモデルの能力の範囲や限界を完全に把握するものではない。

地域の反応

AIコミュニティはGemini 1.5 Proのリリースに熱狂的な反応を示している。ソーシャルメディアの話題は、このモデルの印象的なパフォーマンスに焦点を当て、何人かのユーザーはそれを「めちゃくちゃ良い」と評し、ChatGPT-4oを凌ぐとさえ述べている。あるRedditorは、「4oを吹き飛ばしてしまった」と述べている。

今後の検討事項

Gemini 1.5 Proの実験的バージョンがデフォルトモデルになるかどうかはまだ不明である。初期リリースまたはテスト段階である現状を考えると、安全性やアライメント上の理由から、このモデルが変更されたり、取り下げられたりする可能性がある。