Author: Chao Wang Source: Future MoSaic Translation: Shan Oba, Golden Financesaic 翻译:善欧巴,金色财经
科学技術の歴史を通じて、大きなブレークスルーはしばしば独立して起こり、それぞれが革命を巻き起こしてきた。しかし、2つの強力な技術が融合すれば、その相乗効果によって驚異的な進歩がもたらされる。今日、私たちはそのような岐路に立っている。人工知能と暗号通貨は、それぞれに変革をもたらし、力を合わせようとしている。
私たちは、数多くのAIの課題を解決する暗号ソリューション、暗号の普及を加速させる自律的な経済ネットワークを構築するAIエージェント、既存の暗号技術の進化を促進するAIを想定しています。多くの人々がこの交差点に注目しており、これらのバズワードの熱狂によって莫大な資金が流入している。
しかし、このような興奮の中、私たちは基本的なことについてはあまり知らない。AIは本当に暗号化をどの程度理解しているのでしょうか?LLM駆動エージェントは実際に暗号ツールを使用できるのか?異なるモデルは暗号化タスクにおいてどのようなパフォーマンスを示すのか?これらの質問に対する答えは、この新興分野の製品や技術の方向性を導く上で非常に重要です。
しかし、私たちにはわかりません。
実験
これらの基礎的な質問に対して、私たちは、主流の商用モデルやオープンソースモデルを含む、18の大規模な言語モデルを評価する実験的評価を行いました。
クローズドソースモデル: GPT-4o、GPT-4o Mini、Claude 3.5 Sonnet、Gemini 1.5 Pro、Grok2 beta(現在クローズドソースです。クローズドソース)
Open source models: Llama 3.1 8B/70B/405B、Mistral Nemo 12B、DeepSeek-coder-v2、Nous-hermes2、Phi3 3.8B/14B、Gemma2 9B/27B、Command-R、Qwen2-math-72、MathΣtral
この研究の目的は、AI暗号アプリケーションの現状を評価し、AIと暗号の統合の可能性と課題を評価することである。この研究の初期段階であることを考慮し、この記事では特定の結果データではなく、重要な洞察に焦点を当てています。
実験の結果、AIモデルは暗号通貨の基礎を包括的に理解し、暗号通貨エコシステムに広く精通していることが示された。モデルはまた、様々な基本的なウォレット操作を行うために必要な知識にも習熟していることが示された。適切なプロンプトを与えることで、大幅に改善されただけでなく、複雑な分析や操作を指示通りに実行する能力も実証された。これらの結果は、暗号通貨に関連する多くの分野でのAIアプリの開発が現実的な見通しとなったことを示唆している。
しかし、この研究ではいくつかの重要な限界も確認された。これらのモデルの理論的な知識と、特に暗号関連の計算でそれらを適用する実践的なスキルとの間には大きな隔たりがある。単純なスマート・コントラクトを生成することはできても、より複雑なプロトコルの複雑な脆弱性を特定することは難しい。さらに、これらのモデルは、クラウドベースのAIシステムで秘密鍵を安全に管理するという基本的な課題に対処できていません。
深掘り
数学のギャップ:最も注目すべき調査結果最も注目すべき発見の1つは、AIモデルは一般的に暗号化に関連する計算を処理するのに苦労しているということです。複雑な暗号だけでなく、AMMのスリッページやマイニングの収益性を計算するような基本的な操作でさえ困難である。しかし、大規模な言語モデルは数学的計算のために設計されていないことに注意することが重要です。この制限は、効率と精度を向上させるために事前に定義されたコードをロードすることで、LLMの直接的な計算をバイパスすることで対処できます。このアプローチは、一般的に人間が複雑な計算を処理する方法と似ており、専門的なツールや事前に定義された数式に依存します。
セキュリティのジレンマ:AIモデルは暗号セキュリティの原則をしっかりと把握していることを示していますが、AIを使って安全なシステムを実装するという現実には問題が残っています。多くのAIシステムではクラウドベースの処理が必要なため、暗号通貨の分散型で信頼性のない性質と本質的な対立が生じる。この問題を解決するには、TEE、HSM、さらに革新的な新技術などのサードパーティ・サービスが必要になる。
スマートコントラクト:機能より形式:AIモデルは、スマートコントラクトを理解し、その機能を説明する驚くべき能力を実証しました。一般的な脆弱性や最適化ポイントに対処するために契約を効果的に修正することができ、単純なシナリオの契約を自律的に作成することもできる。しかし、複雑なビジネスロジックに深く埋め込まれた脆弱性に関しては、どのモデルも認識できない。このことは、スマート・コントラクトに対するモデルの理解が表面的なものに留まっており、その根底にあるビジネス・ロジックの複雑さを把握するよりも、むしろ形式に焦点を当てていることを示唆している。AIは契約の相互作用と基本的な作成に優れていますが、複雑なスマート契約システムのセキュリティと効率性を確保するためには、人間の専門知識が依然として不可欠であることは明らかです。
オープンソースの課題:クローズドソースのトップモデルとオープンソースの代替モデルのほとんどとの間に大きな性能差があることから、暗号におけるAIの将来について重要な疑問が投げかけられています。暗号コミュニティがオープン性と分散化を重視していることを考えると、このギャップを埋めることは広く採用されるために非常に重要です。
確かな基礎と可能性:課題はあるものの、モデルは暗号の基本を深く理解し、暗号エコシステムに精通していることを示しています。適切な合図があれば、その能力は格段に向上する。ブロックチェーンアーキテクチャ、コンセンサスメカニズム、トークンエコノミクスなどの概念をモデルが見事に把握していることから、暗号におけるAIの基盤が強固であることが示唆される。ブートストラップヒントの大幅な改善は、現在のAIモデルが、完璧ではないものの、市場分析からプロトコル設計評価まで、多くの暗号関連のタスクにおいて、すでに貴重な洞察と支援を提供できることを示唆しています。
今後の展望:暗号AIのベンチマークの必要性
実験が進むにつれ、差し迫った必要性が明らかになりました:暗号分野には、標準化された AI ベンチマークが必要です。ImageNetがコンピュータ・ビジョンのAIに革命を起こしたように、暗号に特化したベンチマークは、この技術の収束における急速な進歩を促進することができます。
AIと暗号の交差点には大きな可能性があり、AIが暗号の普及を促進すると考えるのであれば、暗号固有のベンチマークを確立することが不可欠です。これらのベンチマークは、AIと暗号の領域をつなぐ重要な架け橋となり、イノベーションを促進し、将来のアプリケーションに明確な指針を与えることができる。この試みは技術的な練習以上のものであり、この新たなデジタルフロンティアをどのように理解し、形成するかについての深い考察である。
しかしながら、このようなベンチマークを作成することは容易なことではありません。暗号の急速な進化、未だ発展途上の知識ベース、そして複数の核となる方向性についてのコンセンサスの欠如、暗号、分散システム、経済学などにまたがるこの分野の学際的な性質、単一の分野よりもはるかに複雑であること、理論的な知識だけでなく、暗号を活用するAIの実際の能力も評価する必要があり、そのためには新しい評価フレームワークを設計する必要があること、などです。また、ベンチマーク・タスクがDeFi、NFT、DAO、その他の新興暗号領域の実世界アプリケーションに関連し続けることを保証する必要がありますが、これは関連するデータセットの不足によってさらに悪化した困難です。
これらの課題の規模と複雑さを考えると、これが単独で解決できる課題でないことは明らかです。この問題の多面的な性質には、複数の専門知識と視点が必要です。暗号通貨コミュニティとAIコミュニティの総力を結集する必要がある。この新たな技術的フロンティアにおいて何が本当に重要なのかを特定し、暗号通貨分野におけるAIの複雑さと可能性を正確に反映したベンチマークを作成することができるのは、この集合的な知性によってのみ可能となるのです。
現在の状況と次のステップ
現在の研究の枠組みは、いくつかの重要な要素で構成されています。paddingleft-2">
約700の多肢選択問題からなるMVPデータセットは、AIと人間によって共同で生成され、その後、人間の専門家によって検証され、改良されました。品質上の制限はあるものの、このデータセットはモデルの迅速な自動テストを可能にし、概念的な理解を示し、基本的な採点メカニズムを提供します。
シミュレーション、計算、コード監査、ツール使用などのシナリオをカバーする約100の複雑なタスクのコレクションが増え続けています。これらのタスクは暗号分野の複数の専門家によって提供され、評価に深みと現実味を与えています。
効果的なベンチマークを確立するためには、データセットを大幅に拡大し、より多くの分野の専門家が参加する必要があります。また、これらの複雑なタスクに対する適切な自動評価フレームワークを開発することも、取り組むべき重要な課題です。
さらに、LLMが将来の実世界のタスク課題に対応するためには、基本的なAgentフレームワークを実装することが重要です。このフレームワークは、より現実的なテスト環境を提供し、理論的な知識と実用的なアプリケーションのギャップを埋めるでしょう。
この方法論は、テストケースの複雑さを増し、全体的なデータセットを拡大することに重点を置いて、継続的に改良されています。オープン・コラボレーションの精神に基づき、すべての関連リソースは間もなくGitHubで利用できるようになる。
この研究がまだ初期段階にあることは注目に値する。調査結果は、急速に進化するAIと暗号の分野における決定的な結論ではなく、予備的な見解およびさらなる研究の出発点として見なされるべきです。このプロジェクトは、より包括的で強固な評価フレームワークの構築を支援するため、より広範な暗号コミュニティからの貢献を歓迎する。