ヴィタリック：競争力のあるオープンな市場に自由に参加するために、どんなAIにも依存することは可能ですか？

• 特定の人や特定の結果をメカニズムに書き込まない。

  オープンソースで公に検証可能な実装

• シンプルに保つ

• あまり頻繁に変更しない

LLLM（またはAIエージェント）は0/4を満たします。モデルは必然的に、その学習プロセスにおいて、多くの人特有の、結果特有の選好を符号化します。例えば、主なLLMがアメリカでの生活よりもパキスタンでの生活を重視していることを示す最近の研究を見てください（！！）。.オープンウェイトにすることもできるが、これはオープンソースにはほど遠い。モデルの奥底にどんな悪魔が隠れているのか、私たちは本当に知らないのだ。LLMのコルモゴロフ的な複雑さは数百億ビットで、アメリカの法律（連邦法＋州法＋地方法）をすべて合わせたものにほぼ匹敵する。しかもAIは急速に進化しているので、3カ月ごとに変更しなければならない。

このため、多くの使用例で私が好んで探っているもう 1 つのアプローチは、単純なメカニズムをゲームのルールとし、AI をプレーヤーにすることです。ルールは比較的愚かな財産システムであり、エッジケースは判例をゆっくりと構築し調整する裁判システムによって決定され、すべての知性は「エッジ」で活動する起業家からもたらされる。

1人の「ゲーマー」は、LLMであったり、LLMの群れが相互に作用してさまざまなインターネットサービスを呼び出したり、さまざまなAIと人間の組み合わせであったり、その他多くの構成要素であったりします。 もしメカニズムのゴールが資金を提供するものを選択することであるなら、それはビットコインやイーサーのブロック報酬とできるだけ同じであるべきです。

このアプローチの利点は、次のとおりです:

• 単一のモデルをメカニズムに組み込むことを避けることができます。その代わり、多くの異なるプレーヤーやアーキテクチャで構成されるオープンな市場を得ることになる。オープンモデル、クローズドモデル、エージェントの群れ、人間とAIのハイブリッド、ボット、無限のサルなど、すべてがフェアなゲームです。

• メカニズムはオープンソースです。そしてそれは、すでにかなりよく理解されているモデルです（例えば、政党や市場はこのように機能しています）

• 仕組みは単純なので、仕組みの設計者が自分の偏見を設計に組み込む方法は比較的少ないです

  。

• 基礎となる参加者のアーキテクチャは、これからシンギュラリティまで3ヶ月ごとに再設計する必要があるにもかかわらず、メカニズムは変わらない。

指導メカニズムの目標は、参加者の根本的な目標を忠実に反映することです。少量の情報しか提供する必要はないが、質の高いものでなければならない。

このメカニズムは、答えを提案することとそれを検証することの間の非対称性を利用していると考えることができます。数独が解くのは難しいが、解答が正しいことを検証するのは簡単であるのと似ている。あなたは、(i)プレイヤーが「解答者」として行動するオープンな市場を作り、(ii)提案された解答を検証するというはるかに単純なタスクを実行する人間が運営するメカニズムを維持する。

フーターキー

フーターキーとは、もともとロビン・ハンソンによって提案されたもので、「価値には投票するが、信念には賭ける」という意味である。投票メカニズムは、目標のセット（測定可能であれば、どのような目標でもよい）を選択し、それらをメトリックMに結合する。決定を下す必要があるとき（単純化のため、YES/NOとする）、条件付き市場を設定する：（i）YESとNOのどちらを選択するか、（ii）YESを選択した場合のMの値、それ以外はゼロ、（iii）NOを選択した場合のMの値、（iv）YESを選択した場合のMの値、それ以外はゼロに賭けるよう人々に求める。iii）NOを選んだ場合のMの値、それ以外はゼロ。これらの3つの変数で、市場がYESとNOのどちらをMの値にとってより好ましいと考えるかを決定することができます。

「企業の株価」（または暗号通貨の場合はトークン価格）は、理解しやすく測定しやすいため、最も一般的に引用される指標ですが、この仕組みは、月間アクティブユーザー数、特定のグループの自己申告幸福度の中央値、いくつかの定量化可能な分散型指標など、さまざまな指標をサポートできます。

フターキーはもともと、人工知能の時代より前に発明されました。しかし、Futarchyは前節で説明した「複雑なソルバー、シンプルなバリデーター」というパラダイムに非常に自然に適合しています。Futarchyのトレーダーは、AI（または人間＋AIの組み合わせ）であることもできる。ソルバー」（予測市場トレーダー）の役割は、提案された各プランが将来の指標の値にどのような影響を与えるかを判断することです。これは難しい。ソルバーが正しければ儲かるし、間違っていれば損をする。検証者（指標に投票し、指標が「操作」されていたり古くなっていることに気づいたら調整し、将来のある時点で指標の実際の値がどうなるかを判断する人）は、「この指標の現在の値はいくらか」という単純な質問に答えるだけでよい。"

人間の判断の精緻化

人間の判断の精緻化は、次のように機能するメカニズムの一種です。答えが必要な質問が多数（百万と考える）あります。

• プロジェクトやタスクへの貢献に対して、このリストの各人にどれだけのクレジットを与えるべきか？

• これらのコメントのうち、ソーシャルメディアプラットフォーム（またはサブコミュニティ）のルールに違反しているものはどれですか？

• これらの指定されたイーサアドレスは、どれが本当のユニークな人々を表していますか？

• これらの物理的なオブジェクトのうち、環境の美観にプラスまたはマイナスに貢献しているのはどれでしょうか？

あなたは、これらの質問に答えられるチームを持っていますが、それぞれの答えに多くの労力を費やしています。チームには、いくつかの質問に答えることだけを求めます（たとえば、リストの合計が100万項目ある場合、チームはそのうちの100項目にしか答えないかもしれません）。チームに間接的な質問をすることもできます。「アリスは総クレジットの何パーセントを得るべきか」と聞く代わりに、「アリスは総クレジットの何パーセントを得るべきか」と聞いてください。アリスは総クレジットの何パーセントを得るべきか」と尋ねる代わりに、「アリスとボブ、どちらがより多くのクレジットを得るべきか、何倍多く得るべきか」と尋ねてください。その代わりに、「アリスとボブのどちらがより多くの信用を得るべきか、そして何倍以上か」と尋ねてください。陪審員メカニズムを設計する際には、充当委員会、裁判所（評決の価値を決定する）、鑑定など、試行錯誤された実世界のメカニズムを再利用することができます。もちろん、陪審員参加者自身が答えを見つけるのを助けるために、新しいAI研究ツールを使用することもできます。

そして、質問セット全体に対する数値的な答えのリストを誰でも提出できるようにします（たとえば、リスト全体の各参加者がどれだけの信用を受けるべきかの見積もりを提供する）。参加者はこのタスクに人工知能を使うことが推奨されているが、人工知能、人間とコンピュータのハイブリッド、インターネット検索にアクセスでき、自律的に他の人間やAI労働者を雇用できるAI、サイバネティックで強化されたサルなど、どのような技術を使ってもよい。

フルリストの提供者と陪審員の両方が回答を提出すると、フルリストは陪審員の回答と照合され、陪審員の回答と最も適合するフルリストの組み合わせが最終的な回答として使用されます。

洗練された人間の判断メカニズムは、フルターキーとは異なりますが、いくつかの重要な共通点があります：

• フルターキーでは。「解答者」は予測を行い、その予測の根拠となる「実際のデータ」（解答者に報酬を与えたり、ペナルティを与えたりするために使用される）は、審査員によって運営されるメトリクスを出力する予測マシンである。

• 洗練された人間の判断では、「解答者」は多数の質問に対する答えを提供し、彼らの予測の根拠となる「実際のデータ」は、陪審員によって提供されたこれらの質問の小さなサブセットに対する高品質の答えです。

クレジット割り当てのための洗練された人間の判断のおもちゃの例です。Pythonコードはこちら。このスクリプトでは、陪審員としての役割を求め、AIが生成した（そして人間が生成した）完全なリストがコードにあらかじめ含まれています。このメカニズムは、審査員の答えに最も合う完全なリストの線形結合を特定する。この場合、勝利の組み合わせは、0.199 * Claude の回答 + 0.801 * Deepseek の回答です。この組み合わせは、個々のモデルよりも審査員の回答によく一致します。これらの係数は、提出者に与えられる報酬にもなります。

この「サウロンに勝つ」例では、「人間がハンドルを握る」という側面が2か所に表れています。第一に、質の高い人間の判断が各問題に適用されていますが、これはまだ「技術主義的な」パフォーマンス評価者としての審査員を利用しています。第二に、「サウロンを倒す」ことが正しい目標なのかどうかを決める暗黙の投票メカニズムがある（例えば、サウロンと同盟を結ぼうとしたり、和平の譲歩として重要な川より東の領土をすべて与えたりするのではなく）。例えば、分散型のソーシャルメディアプラットフォーム（またはサブコミュニティ）で、審査員の仕事がランダムに選ばれたフォーラムの投稿に、コミュニティのルールを守っているか守っていないか印をつけることだと想像してみてください。

• サンプリングはどのように行われるのでしょうか？完全なリスト提出者の役割は、多数の回答を提供することです。陪審員の役割は、質の高い回答を提供することです。陪審員の回答をマッチさせるモデルの能力が、その全体的なパフォーマンスの最良の指標となるような方法で陪審員を選択し、陪審員のための質問を選択する必要があります。
  

• 専門対バイアスのトレードオフ：熟練した陪審員は、通常、専門分野に特化しています。彼らに評価を選ばせることで、より質の高い意見を得ることができます。一方、選択しすぎると、バイアス（審査員は、自分と関係のある人のコンテンツを好む）やサンプリングの弱点（一部のコンテンツは組織的に評価されない）につながる可能性があります

• 反グッドハート：AIの仕組みを「利用」しようとするコンテンツが存在します。例えば、投稿者が印象的に見えるが役に立たないコードを大量に生成するなどです。つまり、審査員はこれを検知することができますが、静的なAIモデルは、懸命に努力しない限り検知することができません。この振る舞いを捕捉する1つの可能な方法は、チャレンジ・メカニズムを追加することである。チャレンジ・メカニズムでは、個人がそのような試みにフラグを立てることができ、審査員がそれを判断することを保証することができる（その結果、AI開発者に、それらが正しく捕捉されるようにするインセンティブを与えることができる）。陪審員が同意すれば内部告発者は報われ、同意しなければ罰金が支払われる。

• どのようなスコアリング関数を使うのですか？現在のディープファンディングの試験運用で使われているアイデアの1つは、陪審員に "AとBのどちらがより多くの信用を得るべきか、またどれだけ多く得るべきか "を尋ねるというものです。.スコアリング関数は、score(x) = sum((log(x[B]) - log(x[A]) - log(juror_ratio)) ** 2 for (A, B, juror_ratio) in jury_answers)です。そして、（対数空間で）距離の2乗に比例するペナルティを加える。これは、採点関数には豊富な設計空間があり、採点関数の選択は、陪審員にどの質問をするかの選択に関連していることを示すためです。

• フルリストの提出者にはどのように報いるのですか？理想的には、独占的なメカニズムを避けるために、複数の参加者にゼロ以外の報酬を頻繁に与えたいところですが、参加者が同じ(または少し修正された)回答セットを複数回提出することによって報酬を増やすことができないという特性も満たしたいところです。1つの有望なアプローチは、陪審員の答えに最も合う答えの完全なリストの線形結合を直接計算し(合計が1になる非負の係数を持つ)、同じ係数を使用して報酬を分割することです。他の方法もあるかもしれません。

一般的に、目標は、効果的であることが知られており、バイアスを最小限に抑え、時の試練に耐えてきた人間の判断メカニズムを使用することです(たとえば、裁判システムの敵対的な構造には、多くの情報を持っているがバイアスのかかっている論争の2つの側と、少しの情報を持っているがバイアスはかかっていないかもしれない裁判官が含まれる可能性があることを想像してみてください)。これは、法学修士課程の「蒸留」が機能する方法に似ている）。

ディープファイナンス

ディープファイナンスとは、「Xのクレジットの何パーセントがYに属するか」というグラフの上側の重みを埋める問題に、洗練された人間の判断を適用することです。

これを説明する最も簡単な方法は、わかりやすい例です。