ディープシークとインテリジェンスの後半戦についてのいくつかの判断

ソース：Overseas Unicorn

24Q3以来、私たちはAIの後半について話してきました。OpenAI o1はRLの物語を提案しましたが、様々な理由でその輪を壊すことはできませんでした。

市場では、ディープシークとは何か、なぜディープシークなのかについて多くの議論が交わされています。この半月で私の考えをまとめました。レース後半を探るためのロードマップになればと思いますし、たまには戻ってこようと思います。

- 探索のための潤沢な資源があるとしたら、どのような方向に投資しますか？

- 例えば、次世代トランスフォーマーアーキテクチャ、合成データにおけるブレークスルー、オンライン学習によるより効率的な学習方法などに対して、どのようなベットをしますか？

Insight 01 DeepSeekはOpenAIを超えるか？

DeepSeekがMeta Llamaを超えたことは間違いありませんが、OpenAI、Anthropic、Googleのような第一線のプレーヤー、例えば、DeepSeekよりも安価で、非常に有能で、完全にモーダルなGemini 2.0 Flashには、まだ遠い道のりです。Gemini 2.0は、Gemini 2.0に代表されるファーストティアの能力を過小評価しているが、このような爆発的でセンセーショナルな結果を得るためには、オープンソースではない。

DeepSeekは非常にエキサイティングですが、パラダイムイノベーションとは言い難く、正確には、OpenAI o1が半ば霞んでいたパラダイムをオープンソース化し、エコシステム全体を非常に高い普及率に押し上げていると表現した方が正しいでしょう。

第一原理の観点からは、Transformerの現世代のアーキテクチャでは、モデルベンダーの第一線を超えることは難しく、同じ道の下で彼らを追い抜くために道を曲げる可能性を実現することは難しいので、今日、私たちは、次世代のインテリジェントなアーキテクチャとパラダイムを探求する誰かにもっと期待しています。

DeepSeekは、OpenAIとAnthropicに追いつくのに1年かかりました。strong>02 ディープシークは新しいパラダイムを始めるのか？

先に述べたように、DeepSeekは技術的に新しいパラダイムを発明したわけではありません。

しかし、DeepSeekは、RLとテスト時間計算の新しいパラダイムが本当に土俵から出るのを助ける上で重要です。OpenAIのo1の最初のリリースが業界にとってのなぞだったとすれば、DeepSeekはそれを公に解いた最初のものでした。

ディープシークがR1とR1-zeroをリリースする前は、RLと推論モデルを実践している人はほんの一握りでしたが、ディープシークは皆にロードマップを与え、そうすることで本当に知能が向上すると業界に確信させました。

新しいパラダイムへの参入。

才能の参入はアルゴリズムの革新につながり、オープンソースの追撃はより多くのコンピューティングリソースにつながります。業界の新しいパラダイムの進歩はDeepSeekによって加速され、中小規模のチームもさまざまなドメインでRLを試すことができます。

さらに、推論モデルの改善はエージェントの着地をさらに助け、AI研究者はエージェントの研究と探索に自信を持つようになります。DeepSeekのオープンソースの推論モデルは、エージェントのさらなる探求に向けて業界を後押ししました。

つまり、DeepSeekは新しいパラダイムを発明したわけではありませんが、業界を1つのパラダイムへと押し上げたのです。

Insight 03 Anthropic のテクノロジーパスは R1 とどう違うのですか？

ダリオのインタビューから、AnthropicのR-1/推論モデルに対する理解は、Oシリーズとは少し異なっていることがわかります。ダリオは、OpenAIのようにモデルシリーズを分けるのではなく、ベースモデルと推論モデルは連続したものであるべきだと感じています。Oシリーズだけでは、すぐに天井にぶつかってしまいます。

なぜSonnet 3.5のコーディング、推論、エージェントの能力が一度に大きく向上したのに、4oが追いつかなかったのか、いつも不思議に思っていました。

彼らはベースモデルをトレーニングする前の段階で多くのRL作業を行いましたが、コアとなるのはやはりベースモデルを引き上げることであり、そうでなければ推論モデルを改善するためにRLに頼るだけで利益を食いつぶしてしまうのはとても簡単なことなのかもしれません。

Insight 04 DeepSeek のセンセーショナリズムは必然であり偶然でもある

初期のOpenAIフェローの2人による本「Why Greatness Can't Be Planned（偉大さはなぜ計画できないのか）」は、DeepSeek 

偉大さはなぜ計画できないのかを説明しています。初期のOpenAI研究者2人による「Why Greatness Can't Be Planned（偉大さはなぜ計画できないのか）」は、DeepSeek を十分に適切に描写しています。

技術的には、DeepSeekには次のようなハイライトがあります：

- オープンソース：オープンソースは重要であり、OpenAIはGPT-3からクローズドソース企業になり、3大巨頭の最初のエシュロンは、もはや技術的な詳細を開いていない、技術的な詳細を引き渡す。OpenAIがGPT-3からクローズドソースに移行した後、最初の3大巨頭は技術的な詳細を公開しなくなり、空っぽのオープンソースエコシステムが残ったが、MetaとMistralは後れを取らず、DeepSeekはオープンソース回路で素晴らしいスタートを切った。

センセーショナリズムに100点、インテリジェンスの強化に30点、オープンソースに70点をつけるとすれば、LLaMAが以前オープンソースであったにもかかわらず、それほどセンセーショナルでなかったという事実は、LLaMaが十分にインテリジェントでないことを示しています。

- Cheap: 「あなたのマージンは私のチャンス」はまだ上昇している。

- ネットワーキング+パブリックCoT：それぞれこれらの2つのポイントのユーザーのために非常に良いユーザーエクスペリエンスをもたらすことができ、DeepSeekは同時に2枚のカードを入れて、爆弾の王と言うことができ、C-ユーザーエクスペリエンスと他のチャットボットに完全に異なる。特にCoTの透明性は、モデルの思考プロセスがオープンであり、透明性は、ユーザーがAIをより信頼させることができ、壊れたサークルを推進しています。しかし、Perplexityも大ヒットしたが、DeepSeekサーバーが不安定で、PerplexityチームはR-1を立ち上げることで迅速に対応し、DeepSeek R-1のオーバーフローを多く拾った。

- RLの一般化： RLはOpenAI o1によって最初に提案されましたが、様々な操作が半分隠されているため、普及率は高くありませんが、DeepSeek R-1は推論モデルパラダイムプロセスの大きな意義であり、生態学的受容性が飛躍的に高まりました。DeepSeek R-1は推論モデルパラダイムを大幅に進歩させ、生態学的受容性が劇的に増加した。

ディープシークが技術探査に投資していることは確かであり、この知性の成果はもっと注目され、議論されるべきだが、ディープシークR1の打ち上げのタイミングは、これをエピソード的な規模のセンセーションにしている：

 過去において、米国は常に基礎技術研究で大きな進歩を遂げたと言ってきた。|にできるようにあなたがそれをすることができます本当に出くわすことあなたは、実際には私たち約束、誰でも素早くはちょうど無視これらの一見正確にどのように{}人のことを忘れることができます。

- DeepSeek R1がリリースされる前に、OpenAI Stargate $ 500Bイベントは発酵し始めたばかりで、この膨大な量の入力とDeepSeekチームのインテリジェンス出力効率のコントラストがあまりにも鋭く、それは懸念を引き起こさないことは困難である、議論;

- DeepSeekはNvidiaの株価をさせました。

- DeepSeekはNvidiaの株価を急落させ、世論をさらに発酵させた。彼らはきっと、2025年の開幕年に米国株式市場の最初のブラックスワンになったとは想像できないだろう;

- 春節は製品の練習場であり、モバイルインターネット時代の多くのスーパーアプリは春節の発生にあり、AI時代も例外ではない。

- DeepSeek R1は春節前にリリースされ、そのテキスト作成能力が非常に優れていることは世間を驚かせた。 誰が傷つくのか？誰が得をするのか？

この分野のプレイヤーを3つのカテゴリーに分けることができます: ToC、To Developer、To Enterprise (to Government):

1.ToC: チャットボットは間違いなく最も大きな打撃を受けています。

3.第三の次元は、To EnterpriseとTo Governmentのビジネスは、信頼と要件の理解にあるということです。 大組織は、自分たちの利益を複雑に考慮した上で意思決定を行うため、C-suiteユーザーほど簡単には移行できないでしょう。第3の次元は、信頼と要件の理解である。

次に、クローズドソース、オープンソース、算術の観点から、この問題について考える別の視点：

短期的な人々は、クローズドソースのOpenAI/Anthropic/Googleがより多くの影響を感じるでしょう：

- 技術の謎はオープンソースであり、プレミアムの最も重要な謎の内側にAIの誇大宣伝は壊れている;

- 技術の謎はオープンソースであり、プレミアムの最も重要な謎の内側にAIの誇大宣伝は壊れている;

- 技術の謎はオープンソースであり、プレミアムの最も重要な謎の内側にAIの誇大宣伝は壊れている。"

「OpenAIは世界で最も強力で最も強力な技術であり、世界で最も強力な技術である。

しかし、中長期的には、豊富なGPUリソースを持つ企業はまだ恩恵を受けている、一方では、メタの第二のエシュロンはすぐに新しい方法をフォローアップすることができ、設備投資、より効率的な、メタは大きな受益者である可能性があり、他方では、インテリジェンスの強化は、より多くの探査を必要とし、DeepSeekのオープンソースは、レベルのレベルにみんなをもたらすために、新たな探査に、10倍が必要です。DeepSeekオープンソースは、すべての人をレベルアップさせ、全く新しいレベルの探査に入るには、10倍以上の大規模なGPU投資が必要です。

最初の原則から、AI知能産業にとって、知能の開発であれ、知能の応用であれ、決定の基礎の法則である大規模な演算の必然的な消費の物理的性質から、技術の最適化は完全に回避することができません。

だから、インテリジェンスを探索するか、インテリジェンスを適用するかどうか、短期的な疑問がある場合でも、演算のための中長期的な需要も爆発的に増加し、これはまた、なぜマスクは最初の原則から、xAIは、クラスタの拡大に付着し、xAIと深いロジックの背後にあるStargateは同じかもしれない説明します。 Amazonや他のクラウドベンダーは、彼らが＆...

の数を増やすことを発表した。nbsp;Capex ガイドラインです。

世界中のAI研究の才能と認知のレベルが引き合わされ、より多くのGPUを持つことで、より実験的な探求が可能になると仮定してみましょうか？最終的には、コンピュート競争に戻るかもしれません。

裸足で靴を履くことを恐れていないDeepSeekは、AGIインテリジェント技術の探査に焦点を当て、商業的な魅力はありませんが、オープンソースは、このアクションは、競争の激化の意義を促進するAGIプロセスを促進するために、開放性を促進するために、かなりナマズ効果。

Insight 06 Distillation can surpass SOTA?

細部には不確実な点があり、もしDeepSeekが訓練前の段階から蒸留されたCoTデータをたくさん使うなら、その効果は今日、あるいは基本的な知性の肩の上の巨人の最初の層では驚くべきものではなく、その後オープンソース;しかし、もし訓練前の段階が蒸留されたデータをたくさん使わないなら。DeepSeekは0からプリ・トレインを行い、今日の効果を発揮している、これはすごいことだ。

また、ベースモデルで蒸留がSOTAを上回ることはまずないでしょう。strong> 堀なし！ 

OpenAIに関するGoogleの過去のコメントの1つ：No Moat ！

DeepSeek の  Chatbot ユーザーの大規模な移行は、市場に重要な洞察を与えました：スマートテクノロジーの進歩は非常に急です。