「DeepSeekはH800の性能上限を突破し、計算能力のコストはまだ下がる可能性がある。

クイックスタート:

Environment requirements：

• Hopper GPU

• CUDA 12.3以上

• PyTorch 2.0以上

プロジェクトの最後には次のように書かれています。の最後には、FlashAttention 2&3とNVIDIA CUTLASSプロジェクトにインスパイアされたとも書かれています。

FlashAttention は、高速でメモリ効率の高い精密なアテンションが可能で、主流の大型モデルで使用されています。最新の第3世代では、H100の利用率を75%まで高めることができます。トレーニング速度は1.5～2倍向上し、FP16での計算スループットは最大740 TFLOPs/sで、理論上の最大スループットの75%に達し、以前は35%に過ぎなかった計算リソースをより有効に利用できるようになりました。

中心的な著者は、プリンストン大学の雄でTogether AIのチーフサイエンティストであるTri Dao氏です。

また、NVIDIA CUTLASSは、高性能な行列行列乗算(GEMM)および関連する計算を、CUDA内のあらゆるレベルとスケールで実装するための、CUDA C++テンプレート抽象化のコレクションです。

MLA、DeepSeek基本アーキテクチャ

最後に、DeepSeekモデルファミリーの基本アーキテクチャであるMLA（Multiple Latent Attention Mechanism）は、モデルのパフォーマンスを維持しながら、Transformerモデルの推論効率とメモリ使用量を最適化するように設計されています。

マルチヘッデッドアテンションのキー行列と値行列を低ランクジョイント圧縮技術によって低次元のポテンシャル空間に投影することで、キーバリューキャッシュ（KVキャッシュ）のストレージ要件を大幅に削減します。従来の方法ではKV行列全体を保存する必要がありましたが、MLAでは圧縮によってキー情報のみを保持することができるため、このアプローチは長いシーケンス処理において特に重要です。

バージョンV2では、この革新的なアーキテクチャは、メモリフットプリントを、過去に最も一般的に使用されたMHAアーキテクチャの5～13%に削減し、大幅なコスト削減を達成しています。その推論コストは、Llama 370Bのわずか1/7、GPT-4 Turboの1/70です。

そしてV3では、このコスト削減と高速化はさらに明白になり、DeepSeekが世界的な注目を集めることを直接的に可能にしました。

また本日、DeepSeek-R1はHuggingFaceで10,000以上の「いいね！」を獲得し、同プラットフォームの約150万機種の中で最も人気のあるビッグモデルとなりました！.

HuggingFaceのCEOはこのニュースを発表するメッセージを投稿した。

The whale is making waves！

これから4日間、何が投稿されるのかお楽しみに！