苦い宗教：拡張の法則をめぐるAIの聖戦

人工知能の聖戦

神が存在しないかのように生き、神が存在することを知るために死ぬまで待つよりは、神が存在するかのように生き、神が存在しないことを知るために死ぬまで待つ方がましだ。-- ブレーズ・パスカル

宗教とはおかしなものだ。どの方向から見ても完全に証明不可能だからかもしれないし、私の好きな名言のひとつである "感情には事実で対抗できない "からかもしれない。

宗教的信念について言えることは、それが高まるにつれて、神の存在を疑うことがほとんど不可能になるほど信じられない速度で加速していくということだ。周りの人たちがどんどん信じているのに、どうして神の存在を疑うことができるだろうか？ある教義を中心に世界が再編成されるとき、どこに異端が入り込む余地があるだろうか？寺院や聖堂、法律や規範が、新しく揺るぎない福音に従って配置されるとき、どこに反対する余地があるだろうか？

アブラハム系の宗教が初めて登場し、大陸をまたいで広まったとき、あるいは仏教がインドからアジアに広まったとき、信仰の大きな勢いが自己強化のサイクルを生み出した。より多くの人々が改宗し、これらの信仰の周りに複雑な神学体系や儀式が構築されるにつれ、これらの基本的な前提に疑問を呈することはますます難しくなった。騙されやすさの海で異端児になるのは容易ではない。壮大な教会、複雑な宗教書、繁栄する修道院は、神の存在を示す物理的な証拠となった。

しかし、宗教の歴史は、そのような構造がいかに簡単に崩れ去るかも示している。キリスト教がスカンジナビアに広まると、古い北欧の信仰はわずか数世代で崩壊した。古代エジプトの宗教制度は何千年も続いたが、やがて新しい、より永続的な信仰が台頭し、より大きな権力構造として現れると消滅した。宗教改革は西方キリスト教を引き裂き、大分裂は東方教会と西方教会の分裂につながった。このような分裂は、一見些細な教義の違いから始まり、次第に全く異なる信仰体系へと発展していくことが多い。

カノン

神とは、知的思考のあらゆるレベルを超越する比喩である。それほど単純なことなのだ。--Joseph Campbell

簡単に言えば、神を信じることは宗教である。神を創造することも同じなのかもしれない。

創設以来、楽観的なAI研究者たちは、自分たちの仕事を創造論、つまり神の創造として想像してきた。ここ数年の大規模言語モデル（LLM）の爆発的な普及は、私たちが神の道を歩んでいるという信念をさらに強固なものにしています。

2019年に書かれたブログ記事も確認できる。AI分野以外の人々は最近まで知らなかったが、カナダのコンピューター科学者リチャード・サットンの『苦い教訓』は、コミュニティにおいてますます重要なテキストとなり、隠された知識から徐々に新しい、すべてを包括する宗教の基礎へと進化している。

サットンは、1,113語（あらゆる宗教が聖なるものとして必要とする数）で、「70年にわたるAI研究から学べる最大の教訓は、計算を利用する汎用的なアプローチが最終的に最も効果的であり、非常に有利であるということである」という技術的な見解をまとめている。"AIモデルの進歩は、ムーアの法則という大きな波に乗り、計算資源が指数関数的に増加した恩恵を受けている。同時にサットンは、AI研究における研究の多くが、人間の知識を加えたり、狭いツールを使ったりといった特殊な技術によってパフォーマンスを最適化することに焦点を当ててきたと指摘する。こうした最適化は短期的には役立つかもしれないが、サットン氏の見解では、サーフボードのフィンを調整したり、巨大な波が迫っているときに新しいワックスを試したりするようなもので、結局は時間とリソースの無駄遣いだという。

これが、私たちが「苦の宗教」と呼ぶものの基本である。

これが、私たちが「苦渋の宗教」と呼ぶものの基礎です。

この宗教にはたった1つの戒律があり、コミュニティではしばしば「スケーリングの法則」と呼ばれています。

苦渋の宗教は、大規模言語モデル（LLM）から世界モデルへと規模を拡大し、現在は生物学、化学、そして体現知能（ロボット工学と自動運転車）の未翻訳の神聖なホールで急速に広がっています。

しかし、サットン・ドクトリンが広まるにつれ、その定義は変わり始める。これは、すべての活動的で活気のある宗教の特徴である、議論、拡張、釈義である。もはや「法則を拡張する」とは計算を拡張することだけを意味するのではなく（箱舟は単なる船ではなかった）、今では変圧器や計算機の性能を向上させるために設計されたさまざまな方法を指し、ちょっとしたトリックも盛り込まれている。

クラシックは現在、コアへの適用から、AIスタックのあらゆる部分を最適化する試みを包括しています。それは、コアモデル自体に適用される技術（モデルのマージ、エキスパートの混合（MoE）、知識の洗練）から、これらの常に飢えている神々を養う合成データの生成に至るまで、AIスタックのあらゆる部分を最適化する試みを含み、その間に多くの実験があります。

Warring Sects

聖戦の匂いを漂わせながら、最近AIコミュニティで盛り上がっている質問の1つは、「苦い宗教」はまだ真実なのかということです。「はまだ真実なのかということだ。

今週、ハーバード大学、スタンフォード大学、マサチューセッツ工科大学（MIT）は、「苦い宗教」と題した新しい論文を発表した。今週、ハーバード、スタンフォード、マサチューセッツ工科大学（MIT）が「精度の拡張の法則」と題する新しい論文を発表した。この論文は、AIモデルの性能を向上させ、オープンソースのエコシステムに多大な利益をもたらしてきた一連の技術である定量化における効率化の終焉について論じている。アレン人工知能研究所の研究科学者であるティム・デトマーズは、以下の投稿でその重要性を概説し、"長い間最も重要な論文 "と呼んでいる。この論文は、過去数週間にわたって熱を帯びてきた対話の継続を表しており、注目すべき傾向、つまり2つの宗教の定着が進んでいることを明らかにしている。

OpenAIのCEOであるサム・アルトマン氏と、AnthropicのCEOであるダーリン・ダーリン氏。AltmanとAnthropic CEOのDario Amodeiは同じ宗派に属しています。両者とも、今後2～3年ほどのうちに汎用人工知能（AGI）が実現すると確信しており、アルトマンとアモデイの両氏は、間違いなく「苦渋の宗教」の神聖さに最も大きく依存している人物である。彼らのインセンティブはすべて、規模の経済がほとんどすべてを支配するゲームで資本を蓄積するために、過剰な約束をし、最大の誇大広告を作り出す傾向がある。もし規模の法則が「アルファとオメガ」、始まりと終わり、始まりと終わりでないとしたら、何のために220億ドルが必要なのか？

OpenAIの元チーフ・サイエンティストであるイリヤ・サツキーヴァーは、別のルールにこだわっている。Sutskever氏は異なる原則を堅持している。彼は、他の研究者（最近のリークによれば、OpenAI内部の多くの研究者を含む）とともに、スケーリングが上限に近づいていると考えている。このグループは、進歩を維持し、AGIを現実の世界にもたらすためには、新しい科学と研究が必然的に必要だと考えています。

Sutskever派は、拡大を続けるというAltman派の考えは経済的に成り立たないと合理的に指摘している。AI研究者のノーム・ブラウンが尋ねるように、"結局のところ、何千億ドル、何兆ドルもかかるモデルを本当に訓練したいのだろうか？"。これには、計算スケーリングを訓練から推論に移した場合に必要となる、推論計算への追加的な数十億ドルの支出は含まれていない。

しかし、真の信者は反対者の議論に精通している。

しかし、真の信者は反対者の議論に非常に精通している。ブラウン とスッツケバー派は、「テスト時の計算」を拡大する可能性を指摘する。これまでとは異なり、トレーニングを向上させるために大きな計算に頼るのではなく、「テスト時の計算」は実行により多くのリソースを投入する。AIモデルがあなたの質問に答えたり、コードやテキストを生成する必要があるとき、より多くの時間と計算を提供することができる。これは、数学の試験準備から、時間を延長して電卓を持参することを許可するよう先生を説得することに焦点を移すことに相当する。エコシステムの多くの人々にとって、これは、チームがオーソドックスな事前トレーニングから事後トレーニング/推論アプローチに移行しているため、「苦渋の宗教」の新たなフロンティアである。

自分の立場を明らかにすることなく、他の信念体系の穴を指摘し、他の教えを批判するのは簡単だ。では、私自身の信念とは何か？まず第一に、現在のモデルは長期的に非常に高い投資対効果をもたらすと信じている。人々が制限を回避し、既存のAPIを活用する方法を学ぶにつれ、真に革新的な製品体験の出現と成功が見られるだろう。私たちは、AI製品の擬人的で漸進的な段階を超えるだろう。その定義はフレームワークの点で欠陥があるため、私たちはそれらを「汎用AI」（AGI）と考えるべきではなく、さまざまな製品や使用シナリオに合わせてカスタマイズできる「最低限実現可能なインテリジェンス」と考えるべきです。

超人工知能（ASI）の実装に関しては、より多くの構造が必要です。より明確な定義と区切りは、それぞれがもたらす経済的価値と経済的コストのトレードオフをより効果的に議論するのに役立つでしょう。例えば、AGIは一部のユーザー（局地的な信念体系）に経済的価値を提供するかもしれないが、ASIは止められない複合効果を示し、世界や私たちの信念体系、社会の構造を変えるかもしれない。私は、ASIはエクステンダーだけでは達成できないと思います。しかし残念ながら、それは私の無神論的な信念に過ぎないと言う人もいるかもしれません。

失われた信仰

AIコミュニティは、この聖戦をすぐに解決することはできないでしょう。その代わりに、我々はAIが「延長の法則」を信じることの意味を問うことに注意を向けるべきだ。信頼の喪失は、大規模な言語モデル（LLM）にとどまらず、あらゆる産業や市場に影響を及ぼす連鎖反応を引き起こす可能性がある。

AI/機械学習のほとんどの分野で、私たちはまだ「拡張の法則」を徹底的に探求していないことに注意することが重要です。しかし、もし懐疑論が入り込めば、投資家やビルダーがバイオテクノロジーやロボット工学のような「曲線の初期段階」にあるカテゴリーの最終的な業績状況について、同じレベルの高い信頼を維持することは難しくなるだろう。言い換えれば、大規模な言語モデルが減速し、選択した道から逸脱し始めるのを見れば、隣接する分野の多くの創業者や投資家の信念体系は崩壊するだろう。

これが公平かどうかは別の問題だ。

「汎用AI」は当然、はるかに大規模である必要があり、したがって専門化されたモデルの「質」は、将来的に真の価値を提供できるように、小規模で実証されるべきだという議論がある。そうすることで、本当の価値を提供する前にボトルネックになりにくくなる。もし領域特化型モデルがデータのほんの一部しか取り込まず、したがって実行可能な計算資源のほんの一部しか必要としないのであれば、改善の余地は十分にあるはずではないだろうか？これは直感的には理にかなっているが、実際にはそうではないことが多い。関連性のあるデータや一見無関係に見えるデータを含めることで、一見無関係に見えるモデルの性能が向上することがよくあるのだ。例えば、プログラミングのデータを含めることは、より広く推論を向上させるのに役立つようです。

長い目で見れば、特殊なモデルについての議論は関係ないかもしれません。ASI（Super Artificial Intelligence：超人工知能）を構築する人たちの最終的な目標は、幅広い領域にわたって無限の創造性を発揮する能力を備えた、自己複製・自己改良型の存在である可能性が高い。元OpenAI理事でOpen Philanthropyの創設者であるホールデン・カーノフスキーは、このような創造物を「PASTA」（Process of Automated Intelligence：自動化された人工知能のプロセス）と呼んでいる。サム・アルトマンの当初の利益計画も、「AGIを構築し、それがどのように利益をもたらすかを問う」という同様の原則に基づいているようだ。これは終末論的AIであり、究極の運命である。

OpenAIやAnthropicのような大規模なAIラボの成功は、資本市場が「OpenAI in X」のようなラボを支援するきっかけとなった。これらのラボは、特定の分野や領域で「AGI」を構築するという長期的な目標を掲げている。この規模分解の外挿は、OpenAIシミュレーションから製品中心の企業へのパラダイムシフトにつながるでしょう。

終末論的モデルとは異なり、これらの企業はさまざまな進歩を実証しなければならないでしょう。

これらの企業は、終末論的なモデルとは異なり、さまざまな進歩を実証しなければならないでしょう。

科学では、自分が何をやっているのかわかっているなら、それをやるべきではない。工学では、自分が何をしているのかわからないのなら、それもすべきではない。--Richard Hamming

信者がすぐに神聖な信仰を失うことはないだろう。先に述べたように、宗教が増殖するにつれて、宗教は人生と崇拝のための脚本と一連の指針を成文化する。自分たちの力と知恵を強化し、「自分たちが何をしているかを知っている」ことを示すために、物理的なモニュメントやインフラを建設する。

最近のインタビューで、サム・アルトマンはAGIについてこのように語っている（強調は私たち）：

これは私が今まで感じた初めてのことであり、私たちは自分たちが何をしているのか本当にわかっている。strong>私たちは何をすべきか本当にわかっている。現在からAGIを構築するまでには、まだ多くの作業が必要です。しかし、私たちは基本的に何をすべきかわかっていると思います。

試練

『苦渋の宗教』に疑問を投げかけることで、『拡張懐疑論』はここ数年で最も深遠な議論の一つをクリアにしている。私たちの誰もが、何らかの形でこのような思考をしたことがあるだろう。もし私たちが神を発明したらどうなるだろうか？その神はどのくらい早く現れるだろうか？もしAGI（一般化された人工知能）が本当に、不可逆的に台頭したらどうなるだろうか？

すべての未知で複雑なトピックと同様に、私たちはすぐに脳内に特定の反応を保存します：私たちの一部は、差し迫った無関係に絶望し、私たちのほとんどは、破壊と繁栄のミックスを予想し、そして最後の私たちは、人間は私たちが最も得意とすることを行うことを予想し、解決すべき問題を検索し、問題を解決し続けるでしょう。解決すべき問題を探し求め、自ら作り出した問題を解決し、純粋な豊かさへと導く。

「拡大の法則」が維持され、数年後にAGIが到来した場合、自分にとって世界がどのようになるかを予測できるようになりたいと、利害関係のある人なら誰でも思うだろう。あなたはこの新しい神にどのように仕え、この新しい神はあなたにどのように仕えるのだろうか？

しかし、停滞の福音が楽観主義者を追い出してしまったらどうだろう？もしかしたら、神でさえも衰退しているのかもしれないと考え始めたらどうだろう？

私はときどき、もし「規模の法則」が成り立たなかったらどうなるのだろう、そしてそれは、テクノロジーの多くの分野に対する減収、成長の鈍化、金利上昇の影響と同じようなものなのだろうか、と考えることがある。また、「拡張の法則」がまったく成り立たなかったらどうなるのだろう、これは他の多くの分野における先発企業のコモディティ化曲線やその価値獲得と同じようなものになるのだろうか、と考えることもある。

「資本主義の素晴らしさは、とにかくそれを解明しようと多くのお金を費やすことだ。

創業者や投資家にとって、問題は「次に何が起こるか」ということになる。

創業者や投資家にとっての問題は、次に何が起こるかということだ。個々の業界ではもっと増えるだろうが、ストーリーは展開し始めている。新たなチャンスはどこから始まるのか？

規模拡大が停滞すれば、閉鎖や合併の波が押し寄せてくると思います。残された企業は、ますますエンジニアリングに重点を移していくでしょう。この進化は、人材の流れを追跡することで予測できるはずです。すでにOpenAIが製品化を進め、この方向に進んでいる兆候がいくつか見られる。このシフトによって、次世代の新興企業が「カーブを曲げる」ためのスペースが開かれ、エンジニアリングよりも革新的な応用研究と科学に頼ることによって新たな道を切り開こうとする既存企業を凌駕することになるでしょう。

Lessons from Religion

Lessons from Religion

私の技術に対する考え方は、明らかな複利効果があるように見えるものは、たいていあまり長続きしないということです。そして、誰もが共通して持っている信念の一つは、明らかな複利効果があるように見えるビジネスは、不思議なことに、予想よりもはるかに低い割合と規模で成長するということです。

宗教分裂の初期兆候は、通常、予測可能なパターンに従う。

宗教の分断の初期の兆候は、通常、予測可能なパターンに従う。

それは通常、資本主義的な理由であれ、イデオロギー的な理由であれ、競合する解釈の出現から始まる。初期キリスト教では、キリストの神性と三位一体の性質に関する見解の相違が分裂を引き起こし、聖書の非常に異なる解釈を生み出した。すでに述べたAIの分裂のほかにも、新たな亀裂が生じている。例えば、AI研究者の一部が、トランスフォーマーという中核的な正統性を否定し、状態空間モデル、マンバ、RWKV、リキッドモデルなどの他のアーキテクチャを支持している。これらは現時点ではソフトなシグナルですが、異端的なアイデアの萌芽と、基礎的な原理からこの分野を再考する意欲を示しています。

時間の経過とともに、預言者のせっかちな発言は不信感にもつながる。宗教指導者の予言が成就しなかったり、神の介入が約束通りに来なかったりすると、疑念の種をまくことになる。

1844年にキリストの再臨を予言したミラー派運動は、イエスが予定通り来なかったことで崩壊した。ハイテク業界では通常、失敗した予言は沈黙のうちに葬り去られ、予言者たちは、予定された期限が何度も守られなかったにもかかわらず、楽観的で長いリードタイムの未来図を描き続けることを許している（こんにちは、イーロン）。しかし、「延長の法則」に対する信念も、オリジナル・モデルの性能の継続的な改善によって裏打ちされなければ、同じような崩壊に直面する可能性がある。

腐敗し、肥大化し、不安定な宗教は、背教に陥りやすい。プロテスタント宗教改革運動が進展したのは、ルターの神学的見解によるだけではなく、カトリック教会の衰退と混乱の時期に生まれたからである。長年の「異端」思想が、主流派の制度に亀裂が生じると、突然、肥沃な土壌を見出したのである。

AIでは、より小さなモデルや、より少ない計算やデータで同様の結果を達成する代替アプローチに注目するかもしれない。例えば、様々な中国企業の研究所や、Nous Researchのようなオープンソースのチームによる研究がそうだ。生物学的知性の限界を押し広げ、長い間乗り越えられないと考えられてきた障壁を克服する人たちもまた、新たな物語を生み出すかもしれません。

シフトの始まりを観察する最も直接的で時間的な影響を受けやすい方法は、実践者の動きを追跡することだ。正式な分裂が起こる以前は、宗教学者や聖職者は通常、公の場では従順に振る舞いながら、私的な場では異端的な見解を維持していた。表向きはスケーリングの法則に従っているが、密かに根本的に異なるアプローチを追求し、コンセンサスに異議を唱えたり、理論的により広い視野を求めて研究室を離れたりするタイミングを待っている。

宗教と技術の正統性について厄介なのは、それらが部分的に真実である傾向があることだ。宗教が人間の基本的真理を形而上学的枠組みに組み込んでいるように、「拡張の法則」はニューラルネットワーク学習の現実を明確に描写している。問題は、その現実が現在の熱狂が示唆するほど完全で不変のものであるかどうか、そしてこれらの宗教機関（AI研究所）が狂信者を導くのに十分な柔軟性と戦略性を備えているかどうかである。同時に、彼らの知識を広めるための印刷機（チャット・インターフェースやAPI）を作り上げることだ。

The Endgame

「宗教は庶民の目には真実であり、賢者の目には偽りであり、支配者の目には有用である。支配者の目には有用である。"--Lucius Annaeus Seneca

宗教団体に対する時代遅れになりかねない見方のひとつに、宗教団体も一定の規模に達すると、多くの人間が運営する組織と同じように、生存動機に屈して競争を勝ち抜こうとする傾向があるというものがある。競争から生き残ろうとする。その過程で、真理と偉大さ（これは相互に排他的なものではない）という動機を見失ってしまう。

私は以前、資本市場がいかに物語主導の情報繭になりうるか、そしてインセンティブがいかにそれらの物語を永続させがちかについて書いた。拡張された法則に関するコンセンサスは、不吉な類似性を与えている。それは、数学的にエレガントで、大規模な資本配備を指揮するのに非常に役立つ、定着した信念体系である。多くの宗教的枠組みがそうであるように、それは根本的な真理としてよりも、調整メカニズムとして価値があるのかもしれない。