人工知能時代を可能にする新たな生産関係

（このステップは通常、大企業/研究機関のみが行います）事前学習には通常、膨大な量のデータが必要です。ネットワーク全体のあらゆる種類のウェブページをクロールし、テラバイト単位のデータを蓄積し、それを前処理する必要があります

モデルの事前学習（このステップは通常、大企業/研究機関のみが行います）

モデルの事前学習（このステップは通常、大企業/研究機関のみが行います）

モデルの事前学習には通常、膨大な量のデータが必要です。このステップを行うのは大企業/研究機関だけです）データ収集を完了した後、大量のコンピューティングパワーを動員する必要があります。

Part 2

Second pre-training of the model

（オプション）事前学習により、機械はコーパスから人間に共通することを学習し、「言語感覚」を身につけることができますが、特定のドメインに関する知識をモデルにもっと与えたい場合は、次のようにします。しかし、特定のドメインに関する知識をモデルにもっと与えたいのであれば、そのドメインからコーパスを取り出し、2回目のプレトレーニングのためにモデルに送り込むことができる。

例えば、Meituanはケータリングとテイクアウトのプラットフォームとして、ケータリングとテイクアウトについてより詳しい大きなモデルが必要です。このようにして得られたモデルは、関連するシーンでより良い結果を得ることができます。

二次事前訓練についての私の理解：二次事前訓練によって、モデルはあるシーンの専門家になることができる

その3

モデルの微調整トレーニング

(オプション)モデルの事前トレーニング感情分類、トピック抽出、読解など、あるタスクのエキスパートになりたい場合、タスクのデータを使って、微調整を行うことができます。

しかし、ここではデータに注釈を付ける必要があります。例えば、感情分類のデータが必要な場合、次のようなデータが必要です:

キーカットのマスターは私に「一致しますか？「ニュートラル

隣のとても強い王さんに聞かれた：「あなたはマッチしますか」 ネガティブ

私の場合。二次的な事前トレーニングについての私の理解:微調整により、モデルは与えられたタスクのエキスパートになる

モデルのトレーニングには、グラフィックカード間で転送される大量のデータが必要であることに注意する必要があります。私たちが現在Al+ web3で行っているプロジェクトの大きなカテゴリの1つは分散演算です。しかし、この種の演算で完全な分散型プリトレーニングを行うのは非常に困難です。また、分散型ファインチューントレーニングを行うには、非常に巧妙な設計が必要です。なぜなら、グラフィックスカード間で情報を転送する時間は、計算する時間よりも高くなるからです。

Part 4

モデルのトレーニングには、グラフィックカード間で多くのデータ転送が必要であることに注意してください。現在Al+web3で行っている主なプロジェクトの1つに、分散演算があります。しかし、この種の算術で完全な分散事前トレーニングを行うのは非常に困難です。分散微調整トレーニングを行うには、非常に巧妙な設計も必要です。なぜなら、グラフィックスカード間で情報を転送する時間は、計算する時間よりも高くなるからです。

第5部

モデルの使用

モデルの使用は、モデル推論としても知られています。推論。これは、学習が完了した後にモデルが一度使用されるプロセスを指します。

モデル推論は、トレーニングに比べてグラフィックカードが大量のデータを転送する必要がないため、分散推論は比較的簡単に行うことができます。left;">方法：大量のpdfデータをベクトルデータベースに詰め込み、背景情報として入力に使う

例：百度クラウド、Myshell

。Promptlearning

理由：モデルのカスタマイズニーズを満たすには、外部の知識ベースでは不十分だと感じているが、パラメータ化トレーニングでモデル全体に負担をかけたくない

方法：モデルをトレーニングせず、トレーニングデータだけを使用する。どのようなプロンプトを書くべきかを学習するために学習データだけを使う

例：今日広く使われている

その2

モデルを学習するための最も一般的な方法です。

連合学習(FL)

出現の理由:学習モデルの使用において、独自のデータを提供する必要があるため、プライバシーが明らかになり、一部の金融機関や医療機関にとって受け入れがたい

出現の理由:学習モデルの使用において、独自のデータを提供する必要があるため、プライバシーが明らかになり、一部の金融機関や医療機関にとって受け入れがたい受け入れられない

方法論：各組織がローカルでデータを使ってモデルを訓練し、その後、モデルを1か所に集めてモデルフュージョンを行う

例：Flock

FHEML

出現の理由:Federated Learningは各参加者がローカルでモデルを訓練することを必要とするが、各参加者にとってこれは敷居が高すぎる

方法論:FHEMLの使用は、完全なホモモルFHEMLを意味する。FHEの使用は完全な同型暗号化を意味するため、暗号化されたデータでモデルを直接訓練することができる

欠点：非常に時間がかかり、コストがかかる

事例：ZAMA、Privasea

その3

ZKML

その理由:他人が提供するモデリング・サービスを利用するとき、私たちは欠点：遅くて高価

事例：モジュラス

スキルニューロン

理由:今日のモデルはブラックボックスのようなもので、多くの訓練データを与えるが、実際に何を学習するのかはわからない。

方法:モデルは脳のようなものだ。脳と同じで、感情を管理する神経細胞の領域もあれば、道徳を管理する領域もある。これらのノードを見つけることで、最適化を目指すことができる

事例：今後の方向性

V.Web3プロジェクトの分類に対応する連鎖

その1

著者は次の3つに分けられます。

インフラ：分散型Aのインフラ

ミドルウェア：インフラがアプリケーション層により良いサービスを提供できるようにする

アプリケーション層：インフラがアプリケーション層により良いサービスを提供できるようにする

アプリケーション層。">Application Layer: Cエンド/Bエンドに直接面しているいくつかのアプリケーション

Part 2

Infra Layer: AIのインフラは常に、データパワー、アルゴリズム（モデル）、データ処理パワーという3つの主要なカテゴリーに分類されます。アルゴリズム（モデル）

分散型アルゴリズム（モデル）：

@TheBittensorHub Research:x.com/dvzhangtz/stat...

分散型算術:

汎用算術: @akashnet_, @ionet

分散データ:

データ注釈:@PublciAl_,QuestLab

ストレージ:IPFS, FIL

オラクル: Chainlink

Market: @myshell_aiVI.大きなプロジェクトがありやすいのはどんなところですか？

まず第一に、他の分野と同様に、インフラは大きなプロジェクトが発生しやすく、特に分散型モデル、分散型演算は限界コストが低いと感じています。

それから、@owenliang60に触発されて、アプリケーションレイヤーも、キラーアプリケーションがあれば、トッププロジェクトになると感じています。

ビッグモデルの歴史を振り返ると、閉鎖の波の先端まで押し上げたキラーアプリはChatGPTでした。おそらくA+Web3のスペースでは、将来的にStepn/Friendtechのような驚異的なアプリケーションが登場するでしょう。