出典:Silicon Stance
数ヶ月前、ある科学者が、強力な人工知能を通じて、人類の心身の健康、精神疾患、貧困、平和、そして仕事と人生の意義のすべてに取り組むという、自分と自分の会社の善意を宣言する記事を書いた。その数カ月後、同じ科学者が突然、中国でのAIの発展を制限し、AIの「一極世界」を維持するために、アメリカのチップを中国に輸出すべきではないと強く訴える記事を発表した(彼がこの言葉をここまで赤裸々に使うとは衝撃だ)。これはどう考えても熾烈で、一抹の偽善を感じるものだ。
問題となっているのは、AI企業Anthropicの創業者兼CEOで、イタリア系アメリカ人、神経物理学の博士号、ベテランのAI科学者、かつてのOpenAIの研究チームの魂の1人、中国企業バイドゥのディープラーニング研究所の初期の従業員、最も強力で安全なAIを構築していると主張する理想主義者、OpenAIの最も重要な研究者の1人であるダリオ・アモデイだ。
理想主義者であり、OpenAIの最も重要な競争相手の創設者であり、そして現在、中国製AIのあらゆる側面に対する米国の禁輸措置を、他でもない、最も激しく求めている人物である。
AnthropicとそのClaudeモデルファミリーは、中国での一般的な認知度はかなり低かったものの、結局のところ、AIアプリケーション開発者向けの大規模言語モデルのプロバイダーとしては世界で最も人気があり、中国のAI研究者や開発者の間ではかなりの支持を得ていました。しかし一夜にして、中国のAI研究者の多くが、AnthropicとAmodei自身が基本的な尊敬を失ったと公言するようになった。
これが「放言」の効果である。
「DeepSeekと輸出規制について」と題された記事の中で、ダリオ・アモデイは、米国のAIを震撼させたDeepSeekの成功が誇張されすぎているという事実を軽んじ、DeepSeek-V3モデルの革新性を認めつつも、DeepSeekの推論モデルであるR1のさらに大きな物語を断固として認めようとしません。より大きなセンセーションを巻き起こしたDeepSeekの推論モデル、R1(この問題に対する彼の考え方は、この記事の後半で取り上げる)。彼が認めたがらないのは、演算コストとアルゴリズム効率の観点から見たDeepSeekモデルの結果であり、NVIDIA A100、H100、H800のグラフィックカードが5万枚密輸されたというDeepSeekの "証明されていない "噂である。密輸された5万枚のNVIDIA A100、H100、H800グラフィックカードの噂は、DeepSeek-V3モデルが600万ドルという低コストでトレーニングできなかったことを証明するために使われた。アモデイは明らかに、演算能力スタックに代わるアルゴリズム効率の革新という、ディープシークが受け入れられつつある道を受け入れることができず、ディープシークが大量のハイエンドグラフィックスカードを密輸入したという証明されていない前提で、この論文を実現するために多大な労力を費やしている。しかしその後、彼は中国のコンピューティング・パワーに対するアメリカの輸出規制は失敗していないと述べるに至っている。彼は都合よく、彼の以前の議論がDeepSeekが密輸しているという前提の上に成り立っていることを忘れてしまったのかもしれない。
ソース:https: //darioamodei.com/on-deepseek-and-export-controls
DeepSeek のインパクトは誇張されすぎている - V3 は確かに革新的だが、それほどコストがかからないはずはない - というのが、彼の論理的な主張です。-- ディープシークはオリジナルではなく、我々の研究の上に成り立っている!-- R1の推論モデルは確かに革新的ではない、o1の結果を再現しているだけだ(OpenAIはすでにDeepSeekの推論結果が独立した発見であることを認めていることに気づかないふりをする) -- 輸出規制は無効ではない、当然だ(自分のことは忘れよう)前の議論は、DeepSeekが密輸されたグラフィックカードを手に入れることを前提にしている) - AI一極集中の世界を作りたいのであって、中国が我々のレベルのモデルを作れるわけがない(DeepSeekは恐れるに足らないと最初に言ったことを忘れている)だから、H100やH800は言うに及ばず、最下位のH20も中国には輸出できないので、中国は勝てない。
ほら、論理と推論がすべてで、正当化できない結論を1万字のエッセイで論じようとする科学者は、あらゆる点で形式的かつ論理的に推論しなければならず、偽善的であると同時に、とても不器用だと思われる。
ダリオ・アモデイが中国の演算の規制強化を求めたのは今回が初めてではなく、アメリカのAI科学者に中国に対する生来の好意を求めることはできませんが、彼は特に、ディープシークがシリコンバレーで広く注目され、認知され、ある種のパニックを引き起こしていることを背景に、中国の演算輸出のさらなる規制を提唱しており、またディープシークのイノベーションを強く否定しています。演算効率の最適化とモデル推論手法におけるDeepSeekの革新は、注視し、解析する価値のある現象である。彼が中国に優しいとは誰も思っていないが、中国と中国生まれのAI企業であるDeepSeekに対してこれほどまでに悪意と憤りを抱いているという事実は、見ていて興味深い。
なぜダリオ・アモデイはDeepSeek-R1が「嫌い」なのか? DeepSeek-V3はトレーニングに600万ドル以上かかるという憶測があるにもかかわらず、ダリオ・アモデイがV3が真の革新であることを認めたのは良いことですが、その後、彼はそれが画期的なものではなく、むしろ「継続的なコスト削減の曲線上の予想される点」であることを強調しなければなりません。違いは、画期的ではないということだ」と彼は主張する。その違いは、「期待されるコスト削減を最初に実証したのが中国企業であるということであり、これは今までになかったことであり、地政学的な意義がある」と彼は主張する。このような、人を褒めておいて誠意を見せようとしない態度は、見ていて本当に疲れる。むしろアモデイは、「アメリカ企業はモデルのコストを下げる技術革新を行っており、ディープシークはたまたまそれを最初に行っただけだ」と言うのを見たいのだが、ぶっきらぼうさは彼の資質ではない。
DeepSeek-R1に関しては、アモデイはもっと率直で、R1がブレークスルーであることを認めようとせず、間違いの余地を残さず、強化学習モデルo1とo3をトレーニングしたOpenAIが、R1が強化学習の方法論に独自のブレークスルーをもたらしたことを認めているにもかかわらず、DeepSeekの強化学習が新しい方法論の必要性から解放されたと指摘する人々には興味がないふりをした。ディープシークの強化学習は人間のフィードバックを必要とせず、大規模な言語モデルにとって「アルファ碁の瞬間」である。彼は、R1はV3の上に強化学習を乗せただけであり、その行動はすべてo1を再現しており、米国のAI企業はすべてこの分野で推論を試みており、技術的なトレンドであり、オープンソースとも何の関係もなく、たまたまディープシークが最初にやっただけだと主張した。
アモデイの強気な発言に動揺する必要はない。 結局のところ、AIの研究者として認知され、実績のあるアモデイの見解は、AI業界、ベンチャーキャピタルコミュニティ、ウォール街、さらにはワシントンD.C.のディープシーク現象の捉え方に影響を与える可能性がある。だからこそ、彼は飛び込む必要があったのだ。長い付き合いのあるOpenAIに憤慨しているわけではなく、彼が設立したAnthropicに、この時点で次のステップへの足がかりを与えなければならなかったのだ。
注目すべき事実として、Anthropicはまだ公式推論モデルを発表していません。
Amodei の見解は、推論はそれほど難しくなく、ベースモデルの方が重要だということです。プログラミングのレビューなどで、DeepSeek-V3が革新的ではあるが、彼のクロード3.5ソネットモデルよりはまだ弱いと暗に賞賛したのと同じように、彼はo1によるブレークスルーを率直に認めましたが、強化学習がモデルにおける推論の増加を達成する最良の方法だとは考えていませんでした。彼は、いくつかの特定のシナリオと練習において、事前に訓練されたモデルであるクロード3.5ソネットは、o1と比べても弱くない推論能力を示したと述べた。その結果、彼は推論と一般的なモデルは分けるべきでないと考えており、事前に訓練されたベースモデルが推論能力を含むことの方がやはり重要であると述べています。
つまり、起こる可能性が非常に高いのは、AnthropicがOpenAIやDeepSeekとは異なる方法で推論力をモデル化するための飛躍を計画しているということであり、それはおそらくClaudeの次世代フラッグシップ台座モデルに反映されるでしょう。これは、OpenAI o1のChain of Thought (CoT)やDeepSeek R1のAI自律強化学習のブレークスルーとは大きく異なるものです。
OpenAIから完全に手を引き、OpenAIを最も直接的な(そしてほとんど唯一の)競争相手と見なしているAnthropicは、ある意味、GPT-4以前の時代からのOpenAIの一連の大きな言語モデリングのコンセプトの最も原理主義的な信奉者であり、学習データが枯渇するにつれて事前学習が「壁にぶつかる」ことを繰り返し否定してきました。アモデイは、事前学習が「壁にぶつかる」こと、学習データが枯渇するにつれてスケール効果が減少することを繰り返し否定し、古典的な「スケーリングの法則」(モデルサイズの継続的な増大が性能の向上につながる)の重要性を繰り返し強調してきた。Anthropicは、スケーリングの法則と事前に訓練されたモデルのボトルネックを解消し、より強力な推論能力を持つ新世代のフラッグシップ事前訓練モデルを導入する。
しかし今のところ、Anthropicはそれを打ち出していません。素晴らしいモデルトレーニングの実績があり、先物のリリースを決していじらないことから、Anthropicは、OpenAIのo1が推論ブーストを達成するための最良の道ではないことを証明するために、この推論を強化する事前トレーニングモデルの準備に熱心に取り組んでいると考えるのが妥当です。しかし、DeepSeek-V3のローンチによって、彼らは突然、一度に証明しなければならないことが増えました。
第一に、DeepSeek-V3はR1に続いて、強化学習を用いたスタンドアロンの推論モデルへの道が信頼できること、そしておそらく最適でさえあることを証明しました。第二に、DeepSeek-V3は、強化学習が、人間のフィードバックなしに、AIが自分で深く考えることを可能にすることができることを証明しました(ダリオ・アモデイは、人間のフィードバックに基づく強化学習の主要な発明者の一人です。(ダリオ・アモデイは、人間のフィードバックに基づく強化学習の主要な発明者の1人です)。そしてまた、DeepSeek-V3は、これを実現するためのトレーニングのコストを大幅に削減できることを実証しています。
このことは、Anthropicがより強力な推論を持つ新しい事前学習済みモデルを導入すれば、これまでよりもさらに複雑な質問に答えなければならないことを意味します。R1に代表される自律的な強化学習に対して、人間のフィードバックに基づく強化学習の利点はいったい何なのか?また、トレーニングにかかるコストは?また、APIの価格は下がるのでしょうか?(クロードAPIは世界で最も高価で、ディープシークはかなり安いです)
そして、これらの厄介な質問と面倒なことはすべて、ディープシークがお届けします。
そのため、Anthropicの「魂」であるDario Amodeiは、より強力な新モデルを発表する前に、飛び込んで、DeepSeek-R1が革新的で画期的であり、費用対効果の高い問題解決策であるという先入観を最小限に抑え、払拭しようとしなければなりませんでした。それが革新的で画期的なものであることを認めることは容認できないし、本当にコストが安くなっていることを認めることも容認できない。
Dario Amodei (Source: Wikipedia) それは2行の問題である。「あなたは死に、私は生きる」。これらの2つのルートは、ある程度、大規模な言語モデルの "ポストプレトレーニング時代 "にも、古典的なシリコンバレーのモデルトレーニングと中国のモデルトレーニングの2つの異なるパスです:前者は、演算リソースの利点のおかげで、モデルのパフォーマンスを向上させるために美学のずさんな暴力の算術スタッキングを介して、後者は、トレーニングのコストを削減するためのアーキテクチャとエンジニアリングの技術革新を通じて、アルゴリズムの効率性に焦点を当てる。
モデル性能を向上させながら、トレーニングコストを削減するための建築と工学の革新。
Anthropicは、OpenAI以上に演算規模、モデル規模、暴力的な美学を擁護しており、その結果、Dario Amodeiによるこの新しい記事は、DeepSeekに対する悪意を暗に放つだけでなく、その悪意を臆面もなく中国のAI分野全体に投影しています。
なぜダリオ・アモデイは算術の輸出規制にこだわるのか? ダリオ・アモデイが中国の算術輸出規制の強化を公に求めたのは今回が初めてではなく、以前にもインタビューで規制は必要であり、強化する必要があるとの見解を示している。米国の友人たちはこのことを悔いるべきではないし、中国の友人たちは、彼が一貫してそうであったように、このことに憤慨する必要はない。
しかし、「ディープシーク効果」を念頭に置いて、アモデイ氏が中国のAIがアメリカと肩を並べるかもしれないというディープシークの背後にある傾向を引き合いに出して、中国の演算制御のさらなる強化を求める数千字の文章を時間を忘れて書いていることは興味深い。アメリカの科学者や起業家が中国に対して過度に親近感や敵対的な態度を公然と表明するときは、彼らの個人的な願望が最優先されることを信じてほしい。
Anthropicとは何か、少し見直してみよう。
それは間違いなく、今アメリカと世界で最高のAI企業であり、時にはその中の1つでさえないこともあるが、ダリオ・アモデイはその技術的な魂である。DeepSeekを見下し、演算能力の輸出規制について語るときの矛盾やおどけさよりも、AIのビジョンや限界について語り、特定のAI用語や理論について説明するときの理性、抑制、明快さ、正確さのほうが説得力がある。はるかにだ。
もちろん、OpenAIの主要な競争相手であるAnthropicの最も印象的なレッテルは「セキュリティ」であり、OpenAIが最も批判されているのはその点である。もちろん、OpenAIは安全性のために多くのことを行ってきました。例えば、「憲法AI」の原理を埋め込むことで、人間のフィードバックに基づく強化学習(RLHF)をモデルトレーニングの全プロセスに偏在的に埋め込むことを意味します。「安全性」はAnthropicのセールスポイントであり、時には負債でもある。
Anthropicが2024年のエンタープライズ市場でOpenAIの15%のシェアを獲得したのは、確かにSonnet 3.5モデルの力によるものだが、「安全性」というマントラによるものでもある。しかし、考えてみれば、「セキュリティ」の主な買い手は、企業ユーザー以外に誰がいるのだろうか?
答えは明らかだ。正確には米国政府だ。
しかしAnthropicは、連邦政府や関連省庁のプロジェクトに参加することに関しては、後発組としてOpenAIほど評判が良くない。トランプ2.0時代の最初の大きなAIプロジェクト「スターゲイト」は、ホワイトハウスによって運営され、Anthropicではなく、OpenAIとソフトバンクが主役だった。
ダリオ・アモデイがダボス会議で即座に発言したにもかかわらずダリオ・アモデイは即座にトランプ政権のスターゲートを「めちゃくちゃだ」と嘲笑したが、AI企業でAnthropicほど米国政府主導のプロジェクトに関わりたい企業はないことは明らかだ。
一方では、ダリオ・アモデイはトランプ大統領の正式就任直前の1月6日、ウォール・ストリート・ジャーナル紙に「トランプは米国のAIリーダーシップを確保できる」という論説を掲載し、積極的な協力を明確に訴えた。
その一方で、前民主党政権の末期に提出され、規制を強化し、AI企業にモデルの知見を政府と積極的に共有することを義務付けることに特化した、物議を醸した「最先端AIモデルの安全性とセキュリティにおけるイノベーション法」は、シリコンバレーでは進歩派と保守派の双方からほぼ満場一致で反対され、最終的にカリフォルニア州のニューサム知事による署名は拒否された。そして我らがダリオ・アモデイは、シリコンバレーでこの法案に賛成した唯一のAI企業創業者だった。
以前、私はAnthropicが初期のGoogleのようなタッチを持っていると素朴に考えていました。なぜなら、透明性、説明可能性、倫理を技術と製品の底辺に置く企業の理想主義的な輝きがあったからです。しかし、初期のグーグルは、創業者やチームの価値観にそのような原則が組み込まれており、それをすべて実現するための規制や経営者の意志を擁護するようなことは一切なかったし、グーグルの創業者2人は、自分たちをホワイトハウスのバイヤーに取り立てようとはしなかった。しかし、我らがダリオ・アモデイの場合はそうではない。
残念ながら、新たなシリコンバレー支持者で埋め尽くされたトランプ内閣は、AI開発と規制に関して、バイデン内閣とはまったく異なる哲学を持っている。少なくとも今のところ、そのグループはダリオ・アモデイから多くを買っていないようだ。アモデイが中国に対する演算制御の強化を求める奇妙な論文を発表した後、トランプ支持のベンチャーキャピタル、アンドリーセン・ホロウィッツの創業者マーク・アンドリーセンは、次のようなオチをつけた。勝つために必要な方法ではない"
ある意味、連邦政府との大きな取引の獲得に躍起になり、国家的なAI「プロジェクト」に関わりたがり、バイデン内閣のもとでAI規制を無条件に支持し、トランプ当選後もアメリカのAIリーダーシップを維持させる救世主としてトランプを喧伝したダリオ・アモデイは、実は生態学的な孤立から抜け出せないでいる。生態学的孤立。彼はアメリカのAI政策立案の内輪には入っていないが、その切符を手に入れるためには、より過激で断固とした姿勢を示す必要がある。
この時点で、DeepSeekが登場し、強化学習の道で彼を少し混乱させたが、中国のAI開発を抑制するために過激な発言をする良い機会を与えた。また、Anthropicのモデルトレーニングの道は、演算能力の山の規模を拡大することに依存している。そのため、彼はアルゴリズムの効率化とエンジニアリングの最適化が本当に演算能力のコストを削減できると信じることに消極的で、代わりに次のように考えている。演算能力のネックが、中国AIの前途を断ち切る可能性がある。そしてこの命題は、一方でホワイトハウスにとって最も理解しやすく、最も受け入れやすいものでもある。だから、アモデイが演算能力の輸出規制強化を求めることに執着するのは当然なのだ。
それでも私は、アメリカの新世代のAI企業の中心にいる人々--OpenAIのサム・アルトマンであれ、Anthropicのダリオ・アモデイであれ、あるいはMetaのザッカーバーグやScale.aiのアレクサンドル・ワンであれ--を感じずにはいられない。Scale.aiのアレクサンドル・ワン、彼らと彼らのビジネスは、アメリカの「国家主義」をあまりにも自然に、そしてあっという間に受け入れてしまった。ほとんどの中国人AI起業家(最近ではディープシークとその創業者リャン・ウェンフェンがそうだ)は、国際的でグローバルであることを教えられてきた。これは興味深い現象だ。