オープンソースAIと暗号化を組み合わせることで、より大きなモデルをサポートし、より多くのイノベーションを促進し、より優れたAIを生み出すことができます。アメリカ人の64％が、ソーシャルメディアは米国にポジティブな影響よりもむしろネガティブな影響を与えていると考え、78％が、ソーシャルメディア企業は今日の政治においてあまりにも大きな権力と影響力を持っていると答え、83％が、これらのプラットフォームは、自分たちが同意しない政治的見解を意図的に検閲する可能性が高いか、非常に高いと答えている。ソーシャルメディア・プラットフォームに対する嫌悪感は、アメリカ人を団結させる数少ない問題のひとつである。
過去20年間のソーシャルメディア実験の歩みを振り返ると、このような状況に陥るのは必然のように思える。皆さんご存知だろう。最初は一握りの大手テック企業が注目を集め、最も重要なのはユーザーデータへのアクセスだった。当初はこのデータの公開が望まれていたが、これらの企業はデータを利用して破格のネットワーク効果を構築した後、すぐに方針を転換し、アクセスを遮断した。このことが本質的に現在の状況を招いた。十数社に満たない大手ハイテク・ソーシャルメディア企業が、寡占状態にある小さな封建領主のように存在し、現状が非常に有利であるために変化するインセンティブがないのだ。閉鎖的で反競争的なのだ。
これまでのAI実験の進捗状況を見ていると、同じ映画を何度も見ているような気がするが、今回はもっと複雑だ。一握りの大企業が、基本的なAIモデルを構築するためのGPUとデータを集め、それらへのアクセスをブロックしている。参入障壁が高すぎるため、（数十億ドルの資金を調達していない）新規参入企業が競合モデルを構築することはもはや不可能だ。競合他社にはできないモデルを構築している。私たちは、ソーシャルメディアと同じことをAIで再現しようとしているのだ。閉鎖的で反競争的なのだ。このまま閉鎖的なAIの道を進めば、一握りのテック企業が情報や機会へのアクセスを自由にコントロールできるようになるだろう。
オープンソースAIと「リソースの問題」
クローズドなAIの世界を望まないのであれば、どのような選択肢があるでしょうか？明白な答えは、基礎となるモデルをオープンソースのソフトウェアプロジェクトとして構築することです。私たちが毎日依存している基本的なソフトウェアを構築するオープンソースプロジェクトの例は数え切れないほどあります。Linuxが、オペレーティングシステムのような基本的なものもオープンソースで構築できることを示しているなら、LLMはどう違うのでしょうか？
残念なことに、基本的な AI モデルには、従来のソフトウェアとは異なる制限があり、従来のオープン ソース ソフトウェア プロジェクトとしての実現性を著しく妨げています。具体的には、基本的なAIモデルは本質的に、個人の能力を超える計算およびデータ リソースを必要とします。その結果、人々が時間を提供することに依存する従来のオープン ソース ソフトウェア プロジェクトとは異なり (これはすでに困難な問題です)、オープン ソース AI は、人々が計算とデータの形でリソースを提供することも必要とします。これがオープンソースAIの「リソースの問題」です。
リソースの問題をよりよく理解するために、MetaのLLaMaモデルを見てみましょう。MetaのLLaMaモデルは、競合他社（OpenAI、Googleなど）とは異なり、有料のAPIの後ろにモデルを隠さず、代わりにLLaMaの重みを誰でも無料で使えるように公開しています（いくつかの制限はあります）。これらの重みは、モデルがMetaの学習プロセスから学習したもので、モデルを実行するのに必要なものだ。重みがあれば、誰でもモデルを微調整したり、モデルの出力を新しいモデルの入力として使ったりすることができる。
MetaがLLaMaの重みを公開したことは評価されるべきですが、それは真のオープンソースソフトウェアプロジェクトではありません。Metaは、独自の計算、データ、決定を使用して、非公開でモデルを訓練し、いつモデルを世界に公開するかを一方的に決定します。Metaが独立した研究者や開発者をコミュニティに招待しないのは、コミュニティのメンバー1人では、モデルの訓練や再訓練に必要な計算やデータのリソース（何万ものハイメモリGPU、それらを収容するデータセンター、大規模な冷却インフラ、何兆もの訓練データトークン）を確保できないからだ。スタンフォードAIインデックス2024の報告書によると、"トレーニングコストの高騰は、大学（伝統的なAI研究センター）が独自の最先端の基本モデルを開発することを事実上排除している"。コストの感覚をつかむために、サム・アルトマンはGPT-4のトレーニングコストは1億ドルであり、資本支出を含んでいない可能性があると言及している。メタの資本支出は前年同期比で21億ドル増加しており（2024年第2四半期対2023年第2四半期）、そのほとんどがAIモデルのトレーニングに関連するサーバー、データセンター、ネットワークインフラへの投資によるものだ。そのため、LLaMaのコミュニティ貢献者は、基礎となるモデルアーキテクチャに貢献し、反復する技術的能力を持っているかもしれませんが、それを行う手段にはまだ欠けています。
要約すると、従来のオープンソースソフトウェアプロジェクトが貢献者に時間の貢献だけを求めるのとは異なり、オープンソースAIプロジェクトの貢献者は、時間と、計算とデータという形で多大なコストの貢献を求められます。これらのリソースを提供する十分な関係者のインセンティブを善意やボランティア精神に頼ることは非現実的である。176B パラメーター・オープンソースLLM BLOOMの成功は、オープンソースAIの開発における善意とボランティア精神の美徳を示す最良の反例であろう。これは間違いなく素晴らしい成果である（そして私も全面的に支持する）が、トレーニングの調整に1年を要し、フランス研究庁から300万ユーロの助成金を得た（この費用には、モデルのトレーニングに使用したスーパーコンピューターの資本支出は含まれていない。）BLOOMを反復するために新たな助成金を調整し、それに頼るというプロセスは、大規模な技術研究所のペースに合わせるにはあまりに煩雑で官僚的である。BLOOMがリリースされてから2年以上経つが、この集団がその後のモデルを生み出したかどうかは知らない。
オープンソースのAIを実現するためには、オープンソースの貢献者に無償で計算やデータを提供するよう、リソース提供者にインセンティブを与える必要があります。
なぜCryptoはオープンソースAIのリソース問題を解決できるのか
Cryptoのブレークスルーは、所有権を活用して、リソースコストのかかるオープンソースソフトウェアプロジェクトを可能にすることにあります。Cryptoは、オープンソースの貢献者に、これらのリソースを提供するために前もってコストを支払うことを要求する代わりに、オープンソースAIに内在するリソースの問題を解決します。
その証拠に、オリジナルの暗号プロジェクトであるBitcoinを見ればわかる。Bitcoinはオープンソースのソフトウェアプロジェクトであり、それを実行するコードは完全にオープンであり、プロジェクトが始まった日からそうであった。しかし、コード自体は秘密兵器ではない。ビットコインのノード・ソフトウェアをダウンロードして実行し、自分のローカル・コンピューター上にしか存在しないブロックチェーンを作成しても、あまり意味がない。このソフトウェアが役に立つのは、計算によって採掘されたブロックの数が、一人の貢献者の計算能力を超えるほど十分に大きい場合だけだ。そうなって初めて、ソフトウェアの付加価値である「管理されない台帳の維持」が実現するのだ。財団のオープンソースAIと同様に、ビットコインは、一人の貢献者の能力を超えるリソースを必要とするオープンソースソフトウェアプロジェクトを表している。ビットコインはネットワークを改ざんできないようにするため、財団のAIはモデルを反復するためである。しかし、より大きなポイントは、どちらも実行可能なオープンソースソフトウェアプロジェクトとして機能するためには、一人の貢献者のニーズを超えるリソースを必要とするということだ。オープンソースソフトウェアプロジェクトとして機能させるためには、どちらも一人の貢献者が必要とする以上のリソースを必要とするということだ。
Bitcoin、あるいはそれに関するあらゆる暗号ネットワークが、オープンソースソフトウェアプロジェクトにリソースを貢献するよう参加者にインセンティブを与えるために使う魔法のトリックは、トークンの形でネットワークの所有権を提供することだ。2020年にジェシーがVariantの設立論文で書いたように、所有権はリソース提供者に、ネットワークへの潜在的なアップサイドと引き換えに、プロジェクトにリソースを提供するインセンティブを与える。これは、創業間もない会社を立ち上げるためにスウェット・エクイティ（汗を流すための出資）を利用する方法と似ている。主に事業の所有権を通じて初期従業員（創業者など）の給与を支払うことで、新興企業は、そうでなければ手の届かない労働力を利用できるようになり、起業時の問題を克服することができる。Variantは、スウェット・エクイティの概念を、時間を捧げる人だけでなく、リソースの提供者にも広げている。その結果、Variantは、Uniswap、Morpho、Worldなど、所有権を活用してネットワーク効果を構築するプロジェクトへの投資に重点を置いています。
オープンソースAIを実現したいのであれば、暗号による所有権が、AIが直面するリソース問題の解決策となります。研究者はモデル設計のアイデアをオープンソースプロジェクトに自由に提供することができます。なぜなら、そのアイデアを実装するのに必要なリソースは、研究者に高額な初期費用を要求するのではなく、プロジェクトのオーナーシップと引き換えに、計算やデータのプロバイダーから提供されるからです。オープンソースAIにおける所有権は、さまざまな形をとることができますが、私が最も期待しているのは、Pluralisが提案するアプローチのように、モデル自体の所有権です。
Pluralisはこのアプローチをプロトコルモデルと呼んでおり、計算プロバイダーは特定のオープンソースモデルを訓練するために計算リソースを提供し、モデルの将来の推論収益の所有権を得ることができます。所有権は特定のモデルに帰属し、所有権の価値は推論収益に基づくため、計算プロバイダーには、（無駄な訓練を提供すると将来の推論収益の期待値が減少するため）訓練でごまかすのではなく、最適なモデルを選択するインセンティブがあります。では、トレーニングのために計算プロバイダーに重みを送る必要がある場合、Pluralisではどのようにして所有権を強制できるのでしょうか？その答えは、モデルの並列性を利用してモデルのスライスをワーカーに分散させることで、ニューラルネットワークの重要な特性の1つである、全体の重みのごく一部だけを見ながらより大きなモデルのトレーニングに貢献する能力を利用できるようにし、重みの完全なセットが抽出不可能なままであることを保証することです。そして、多くの異なるモデルがPluralis上でトレーニングされるため、トレーナーは多くの異なる重みのセットを持つことになり、モデルを再現することが非常に難しくなります。これはプロトコルモデルの核となる概念です：それらは訓練可能で使用することができますが、プロトコルから抽出することはできません（ゼロからモデルを訓練するのに必要な以上の計算能力を使わずに）。これは、クローズドなAIの競争相手がオープンプロジェクトの労働の成果を奪ってしまうという、オープンソースAI批判者によってしばしば提起される懸念に対処するものです。
Why Crypto + Open Source = Better AI
私はこの投稿を、クローズドAIがなぜ悪いのかを規範的な観点から説明するために、大手テック企業によるコントロールの問題を説明することから始めました。しかし、私たちのオンライン体験が運命論に彩られた世界では、これがほとんどの読者にとって意味をなさないのではないかと懸念しています。そこで最後に、暗号化に裏打ちされたオープンソースAIが実際に優れたAIにつながる理由を2つ挙げたいと思います。
第一に、暗号とオープンソースAIの組み合わせは、クローズドAIよりも多くのリソースを調整するため、ベースモデルの次のレイヤーに到達することを可能にします。私たちの現在の研究は、計算とデータという形でより多くのリソースがより優れたモデルを意味することを示しています。ビットコインは、オープンソースソフトウェアと暗号化が、計算能力という点で何を解き放ったかを示している。ビットコインは世界最大かつ最も強力な計算ネットワークであり、大手ハイテク企業のクラウドよりも桁違いに大きい。暗号は、孤立した競争を協調的な競争に変える。リソースの提供者は、個別に（そして冗長に）その問題を解決するためにリソースをため込むのではなく、集団的な問題を解決するためにリソースを提供するインセンティブを与えられる。暗号化を使用したオープンソースAIは、世界中の計算とデータの集合体を活用し、クローズドAIで可能なものをはるかに超えるモデルサイズを構築することができる。
第二に、暗号とオープンソースAIを組み合わせることで、さらなるイノベーションが促進されます。リソースの問題を克服できれば、機械学習研究の高度に反復的で革新的なオープンソースの性質に戻ることができるからです。基礎となるLLMが最近発表される以前、機械学習研究者たちは何十年もの間、自分たちのモデルとそれを再現するための設計図を一般に公開してきた。これらのモデルは通常、より限定されたオープンデータセットを使用し、管理可能な計算要件を持っていた。この繰り返しによって、RNN、LSTM、アテンション・メカニズムといったシーケンス・モデリングの進歩がもたらされ、現在のLLMのベースとなっている「トランスフォーマー」モデル・アーキテクチャが実現された。しかし、GPT-3の登場（GPT-2がオープンソースであった流れを覆した）とChatGPTの大成功によって、すべてが変わった。これは、OpenAIが、巨大なモデルに十分な計算量とデータを投入すれば、人間の言語を理解しているように見えるLLMを構築できることを証明したためです。これは、リソースの問題を引き起こし、アカデミアが買えないような高価格につながり、競争上の優位性を維持するために、大手ハイテク企業の研究所がモデルアーキテクチャの公開を実質的に中止することにつながりました。個々の研究所に一義的に依存している現状では、最先端技術の限界を押し広げる能力は制限されてしまうだろう。暗号技術によって可能になるオープンソースのAIは、研究者が「次の変革者」を発見するために、最先端のモデルでこの反復プロセスを再び継続できるようになることを意味する。
Weiliang
Alex
Miyuki
Catherine
Kikyo
Joy