Quan hệ sản xuất mới trao quyền cho kỷ nguyên trí tuệ nhân tạo

Tác giả |: Frank-Zhang.eth, Twitter: @dvzhangtz

Tác giả tin rằng bản thân trí tuệ nhân tạo đại diện cho một loại năng suất mới và là hướng phát triển của con người; sự kết hợp giữa Web3 và A sẽ tạo cho Web3 một mối quan hệ sản xuất mới trong thời đại mới, một con đường cứu rỗi cho việc tổ chức xã hội loài người trong tương lai và tránh được sự độc quyền tuyệt đối của Người khổng lồ AI.

Là nhà đầu tư tiền tuyến lâu dài trong Web3 và là cựu nhà nghiên cứu AI, tôi tin rằng nhiệm vụ của mình là viết một bài báo về lập bản đồ đường đi.

1. Mục tiêu của bài viết này

Để hiểu A đầy đủ hơn, chúng ta cần để hiểu:< /p>

1. Một số khái niệm cơ bản về A như: machine learning là gì và tại sao cần một mô hình ngôn ngữ lớn.

2. Các bước phát triển AI như thu thập dữ liệu, đào tạo trước mô hình, tinh chỉnh mô hình và sử dụng mô hình là gì?

3. Một số hướng mới nổi như: cơ sở kiến ​​thức bên ngoài, học tập liên kết, ZKML, FHEML, học nhanh và nơ-ron khả năng.

4. Các dự án tương ứng với Web3 trong toàn bộ chuỗi A là gì.

5. Về toàn bộ chuỗi AI, liên kết nào có giá trị lớn hơn hoặc thiên về các dự án lớn.

Khi mô tả các khái niệm này, tác giả sẽ cố gắng không sử dụng các công thức hay định nghĩa mà sử dụng phép ẩn dụ để mô tả chúng.

Bài viết này đề cập đến càng nhiều thuật ngữ mới càng tốt. Tác giả hy vọng sẽ để lại ấn tượng với độc giả nếu sau này gặp phải, họ có thể quay lại. kiểm tra cấu trúc kiến ​​thức của họ ở đâu.

2. Các khái niệm cơ bản

Phần 1

Dự án web3+ai mà chúng ta quen thuộc ngày nay, công nghệ của họ thuộc về học máy trong trí tuệ nhân tạo Ý tưởng của mạng lưới thần kinh.

Đoạn sau chủ yếu định nghĩa một số khái niệm cơ bản: trí tuệ nhân tạo, học máy, mạng lưới thần kinh, đào tạo, hàm mất mát, giảm độ dốc, học tăng cường, hệ thống chuyên gia .

Phần 2

Trí tuệ nhân tạo

< p style="text-align: left;">Định nghĩa: Trí tuệ nhân tạo là một ngành khoa học kỹ thuật mới nghiên cứu và phát triển các lý thuyết, phương pháp, công nghệ và hệ thống ứng dụng có thể mô phỏng, mở rộng và mở rộng trí tuệ con người. Mục đích của nghiên cứu trí tuệ nhân tạo là thúc đẩy những cỗ máy thông minh có thể: nghe, nhìn, nói, suy nghĩ, học hỏi và hành động

Định nghĩa của tôi: kết quả được đưa ra bởi máy và con người Các kết quả đưa ra đều giống nhau, rất khó phân biệt đúng và sai (Turing test)

Phần 3

Hệ thống chuyên gia

< p style="text-align: left;">Nếu việc gì đó có các bước rõ ràng và yêu cầu kiến ​​thức: hệ thống chuyên gia

Phần 4

Nếu có điều gì đó khó mô tả thì cách thực hiện:

1. Có dữ liệu chú thích: machine learning , chẳng hạn như phân tích cảm xúc trong văn bản

Ví dụ: Dữ liệu đào tạo bắt buộc

Người tạo khóa hỏi tôi: "Bạn có đủ tư cách không?" "trung lập

Tiểu Vương rất mạnh bên cạnh hỏi tôi: "Bạn có xứng đáng không?" -tiêu cực

< p style="text-align: left; ">2. Hầu như không có dữ liệu chú thích: học tăng cường, chẳng hạn như chơi cờ

Phần 5

Mạng lưới thần kinh dạy máy móc Kiến thức A như thế nào

Học máy hiện nay bao gồm nhiều loại kiến ​​thức và phạm vi. Ở đây chúng ta chỉ thảo luận về quy trình cổ điển nhất trong học máy, mạng lưới thần kinh.

Mạng nơron dạy cho máy một phần kiến ​​thức như thế nào? Chúng ta có thể so sánh nó với:

Nếu bạn muốn dạy chó con cách tè trên thảm (trường hợp cổ điển, không có hướng dẫn xấu) - (nếu bạn muốn dạy cho máy một phần kiến ​​thức)

Cách 1: Nếu chó tè lên chiếu thì thưởng chó một miếng thịt, nếu chó không có thì đánh vào mông

Cách 2: Nếu chó tè lên chiếu thì thưởng cho chó một miếng thịt, nếu không thì đánh vào mông, càng xa chiếu thì đánh càng mạnh (tính hàm loss)

Phương pháp 3: Mỗi khi chó bước đi, phán đoán sẽ được đưa ra:

p>

Nếu bạn đang đi về phía tấm thảm, bạn sẽ được thưởng một miếng thịt. Nếu bạn không đi về phía tấm thảm, bạn sẽ bị đánh đòn

(Đối với mỗi buổi huấn luyện, hãy tính hàm mất mát)

Phương pháp 4: Mỗi lần chó lấy một bước, phán đoán được đưa ra

Nếu bạn đang đi về phía tấm thảm, bạn sẽ được thưởng một miếng thịt nếu bạn không đi về phía tấm thảm< /p>

, bạn sẽ bị đánh đòn;< /p>

Và đặt một miếng thịt cho con chó vào trong hướng của tấm thảm để thu hút chó đi đến tấm thảm

(Đối với mỗi buổi huấn luyện, hãy tính hàm mất mát, sau đó thực hiện giảm độ dốc theo hướng có thể giảm hàm mất mát một cách tốt nhất)

Phần 6

Tại sao mạng lưới thần kinh lại phát triển nhanh chóng trong mười năm qua?< /p>

Bởi vì con người đã đạt được những tiến bộ nhanh chóng về sức mạnh tính toán, dữ liệu và thuật toán trong mười năm qua.

Sức mạnh tính toán: Mạng thần kinh thực sự đã được đề xuất vào thế kỷ trước, nhưng phần cứng vào thời điểm đó mất quá nhiều thời gian để chạy mạng thần kinh. Tuy nhiên, với sự phát triển của công nghệ chip trong thế kỷ này, sức mạnh tính toán của chip máy tính đã tăng gấp đôi sau 18 tháng. Thậm chí có những GPU, chip có khả năng tính toán song song rất tốt, khiến mạng lưới thần kinh “chấp nhận được” về mặt thời gian tính toán.

Dữ liệu: Phương tiện truyền thông xã hội và một lượng lớn dữ liệu đào tạo đã được tích lũy trên Internet. Các nhà sản xuất lớn cũng có nhu cầu tự động hóa liên quan.

Mô hình: Với sức mạnh tính toán và dữ liệu, các nhà nghiên cứu đã phát triển một loạt mô hình hiệu quả và chính xác hơn.

"Sức mạnh tính toán", "dữ liệu" và "mô hình" còn được gọi là ba yếu tố của trí tuệ nhân tạo.

Phần 7

Tại sao Mô hình Ngôn ngữ Lớn (LLM ) Điều này rất quan trọng

Tại sao bạn nên chú ý: Chúng ta tập trung ở đây hôm nay vì mọi người đều rất tò mò về Al+ web3 và A phổ biến vì ChatGPT; ChatGPT thuộc mô hình Ngôn ngữ lớn.

Tại sao cần có mô hình ngôn ngữ lớn: Như chúng tôi đã nói ở trên, học máy yêu cầu dữ liệu đào tạo, nhưng chi phí cho việc chú thích dữ liệu quy mô lớn lại quá cao; mô hình ngôn ngữ lớn có thể là một cách khéo léo để giải quyết vấn đề này.

Part8

Bert - mô hình ngôn ngữ lớn đầu tiên

Chúng ta nên làm gì nếu không có dữ liệu huấn luyện? Bản thân lời nói của con người là một phần chú thích. Chúng ta có thể sử dụng cloze để tạo dữ liệu.

Chúng ta có thể khoét rỗng một số từ trong đoạn văn và để mô hình kiến ​​trúc máy biến áp (không quan trọng) dự đoán những từ nào sẽ được điền vào những chỗ này ( Let the dog find tấm thảm);

Nếu dự đoán mô hình sai, hãy kiểm tra một số hàm mất mát và độ dốc giảm dần (nếu con chó đi về phía tấm thảm, hãy thưởng một miếng thịt, nếu không hướng về phía chiếu thì đánh chó và đặt miếng thịt về phía chiếu để dụ chó đi đến chiếu)

Tất cả theo cách này, các bài viết trên Internet có thể trở thành dữ liệu đào tạo. Quá trình đào tạo như vậy còn được gọi là "đào tạo trước", do đó các mô hình ngôn ngữ lớn còn được gọi là mô hình đào tạo trước. Một mô hình như vậy có thể cho anh ta một câu và yêu cầu anh ta đoán từng từ, từ tiếp theo sẽ là gì. Trải nghiệm này cũng giống như khi chúng ta sử dụng chatgpt bây giờ.

Hiểu biết của tôi về đào tạo trước: Đào tạo trước cho phép máy học kiến ​​thức chung của con người từ kho ngữ liệu và phát triển "ý thức về ngôn ngữ".

Phần 9

Sự phát triển tiếp theo của các mô hình ngôn ngữ lớn

Sau khi Bert đề xuất, mọi người đều thấy rằng thứ này thực sự dễ sử dụng!

Miễn là mô hình trở nên lớn hơn và dữ liệu huấn luyện trở nên nhiều hơn, thì hiệu quả sẽ được Nó có thể ngày càng tốt hơn. Đây không chỉ là sự thiếu suy nghĩ.

Dữ liệu đào tạo tăng vọt: Bert sử dụng tất cả dữ liệu Wikipedia và sách để đào tạo Sau đó, dữ liệu đào tạo được mở rộng sang dữ liệu tiếng Anh của toàn bộ mạng và sau đó. cho toàn bộ mạng. Ngôn ngữ đầy đủ

Số lượng tham số mô hình đang tăng lên nhanh chóng

3. Các bước trong AI phát triển

Phần 1

Pre- thu thập dữ liệu đào tạo

(Bước này thường chỉ được thực hiện bởi các nhà sản xuất lớn/viện nghiên cứu lớn) Đào tạo trước thường yêu cầu một lượng dữ liệu khổng lồ, đòi hỏi phải thu thập tất cả dữ liệu các loại trang web trên toàn bộ mạng và việc tích lũy được tính bằng TB. Sau đó, dữ liệu sẽ được xử lý trước

Đào tạo trước mô hình (bước này thường chỉ được thực hiện bởi các nhà sản xuất/viện nghiên cứu lớn). Sau khi hoàn thành việc thu thập dữ liệu, một lượng lớn sức mạnh tính toán, hàng trăm sức mạnh tính toán cấp A100/TPU để đào tạo trước

< strong>Phần 2

Đào tạo trước mô hình thứ cấp

(option) pre-training cho phép máy học những kiến ​​thức thông thường của con người từ kho ngữ liệu và trau dồi ""Cảm giác ngôn ngữ", nhưng nếu muốn mô hình có thêm kiến ​​thức về một lĩnh vực nào đó, chúng ta có thể lấy kho ngữ liệu của lĩnh vực này và đổ vào mô hình đào tạo trước bậc trung học.

Ví dụ: Meituan, với tư cách là một nền tảng giao đồ ăn, cần các mô hình lớn để biết thêm về kiến ​​thức giao đồ ăn. Do đó, Meituan đã sử dụng kho dữ liệu kinh doanh Meituan-Dianping để đào tạo trước thứ cấp và phát triển MT-Bert. Mô hình thu được theo cách này sẽ hiệu quả hơn trong các tình huống liên quan.

Sự hiểu biết của tôi về đào tạo trước thứ cấp: đào tạo trước thứ cấp cho phép mô hình trở thành chuyên gia trong một tình huống nhất định

Phần 3

Đào tạo tinh chỉnh mô hình

(tùy chọn) Nếu mô hình được đào tạo trước muốn trở thành chuyên gia về một nhiệm vụ nhất định, chẳng hạn như chuyên gia phân loại cảm xúc, chuyên gia trích xuất chủ đề hoặc chuyên gia về nói và đọc hiểu; bạn có thể sử dụng dữ liệu về nhiệm vụ để tinh chỉnh mô hình.

Nhưng ở đây bạn cần gắn nhãn cho dữ liệu. Ví dụ: nếu bạn cần dữ liệu phân loại cảm xúc, bạn cần dữ liệu tương tự như sau:

Người làm chìa khóa hỏi tôi: "Anh có xứng đáng không?"

Tiểu Vương mạnh mẽ bên cạnh hỏi tôi : "Bạn có xứng đáng không?" phủ định

Hiểu biết của tôi về đào tạo trước thứ cấp: Tinh chỉnh giúp người mẫu trở thành chuyên gia trong một nhiệm vụ nhất định

Cần lưu ý rằng việc đào tạo mô hình yêu cầu lượng lớn dữ liệu được truyền giữa các card đồ họa. Hiện tại, Al+ web3 của chúng tôi có một danh mục lớn các dự án được phân phối sức mạnh tính toán - mọi người từ khắp nơi trên thế giới đóng góp những cỗ máy nhàn rỗi của họ để thực hiện một số việc nhất định. Nhưng rất khó để sử dụng loại sức mạnh tính toán này để thực hiện đào tạo trước phân tán hoàn chỉnh; nếu bạn muốn thực hiện đào tạo tinh chỉnh phân tán, bạn cũng cần một thiết kế rất thông minh. Bởi thời gian truyền tải thông tin giữa các card đồ họa sẽ cao hơn thời gian tính toán.

Phần 4

Cần lưu ý rằng việc đào tạo của mô hình là Cần phải truyền một lượng lớn dữ liệu giữa các card đồ họa. Hiện tại, chúng tôi tại Al+web3 có một danh mục lớn các dự án được phân phối sức mạnh tính toán - mọi người trên khắp thế giới đóng góp những cỗ máy nhàn rỗi của họ để thực hiện một số việc nhất định. Nhưng rất khó để sử dụng loại sức mạnh tính toán này để thực hiện đào tạo trước phân tán hoàn chỉnh; nếu bạn muốn thực hiện đào tạo tinh chỉnh phân tán, bạn cũng cần một thiết kế rất thông minh. Bởi thời gian truyền tải thông tin giữa các card đồ họa sẽ cao hơn thời gian tính toán.

Phần 5

Cách sử dụng mô hình

< p style="text-align: left;">Sử dụng mô hình hay còn gọi là suy luận mô hình (inference). Điều này đề cập đến quá trình sử dụng mô hình một lần sau khi nó được huấn luyện.

So với đào tạo, suy luận mô hình không yêu cầu card đồ họa truyền một lượng lớn dữ liệu, do đó suy luận phân tán là một nhiệm vụ tương đối dễ dàng.

4. Ứng dụng mới nhất của mô hình lớn

Phần 1

Cơ sở kiến ​​thức bên ngoài

Phương pháp: Đóng gói một lượng lớn dữ liệu pdf vào cơ sở dữ liệu vectơ và sử dụng nó làm thông tin cơ bản làm đầu vào

Trường hợp: Baidu Yunduo, Myshell

Promptlearning

Lý do: Chúng tôi cảm thấy rằng nền tảng kiến ​​thức bên ngoài không thể đáp ứng nhu cầu tùy chỉnh mô hình của chúng tôi, nhưng chúng tôi thì không muốn chịu gánh nặng của toàn bộ mô hình. Đào tạo điều chỉnh tham số

Phương pháp: Không đào tạo mô hình, chỉ sử dụng dữ liệu đào tạo để tìm hiểu loại Lời nhắc nào được viết

Trường hợp: được sử dụng rộng rãi ngày nay

Phần 2< /p>

Học liên kết (FL)

Lý do: Khi sử dụng mô hình đào tạo, chúng tôi cần cung cấp dữ liệu của chính chúng tôi, việc này sẽ Rò rỉ quyền riêng tư của chúng tôi là điều không thể chấp nhận được đối với một số tổ chức tài chính và y tế

Phương pháp: Mỗi tổ chức sử dụng dữ liệu để đào tạo mô hình tại địa phương, sau đó tập trung hóa dữ liệu mô hình thành Kết hợp mô hình ở một nơi

Trường hợp: Flock

FHEML

< p style ="text-align: left;">Lý do: Học liên kết yêu cầu mỗi người tham gia đào tạo một mô hình cục bộ, nhưng đây là ngưỡng quá cao đối với mỗi người tham gia

Phương pháp: Sử dụng FHE để thực hiện mã hóa đồng cấu hoàn toàn. Có, mô hình có thể được huấn luyện trực tiếp bằng dữ liệu được mã hóa

Nhược điểm: cực kỳ chậm, cực kỳ tốn kém

Nhược điểm: cực kỳ chậm, cực kỳ tốn kém

Nhược điểm: cực kỳ chậm, cực kỳ tốn kém

p>

Vụ án: ZAMA, Privasea

Phần 3< /p>

ZKML

Lý do: Khi chúng tôi sử dụng các dịch vụ mẫu do người khác cung cấp, chúng tôi muốn xác nhận rằng nó thực sự mang lại hiệu quả mô hình hóa các dịch vụ theo yêu cầu của chúng tôi, thay vì sử dụng một mô hình nhỏ và loay hoay

Phương pháp: Để nó sử dụng ZK để tạo bằng chứng, chứng minh rằng nó thực sự đang hoạt động những phép tính mà anh ta tuyên bố đã thực hiện

Nhược điểm: rất chậm và tốn kém

Trường hợp: Mô-đun

Skillneuron (skillneuron)

Lý do xuất hiện: Mô hình ngày nay giống như một chiếc hộp đen. Chúng tôi cung cấp cho nó rất nhiều dữ liệu huấn luyện, nhưng chúng tôi không biết nó đã học được gì; chúng tôi hy vọng có một số cách để tối ưu hóa mô hình theo một hướng cụ thể, chẳng hạn như có khả năng nhận thức cảm xúc mạnh mẽ hơn, với mức độ đạo đức cao hơn<. /p>

Phương pháp: Mô hình giống như một bộ não. Các tế bào thần kinh ở một số khu vực quản lý cảm xúc và một số khu vực quản lý đạo đức. Hãy tìm những nút này, Chúng ta có thể thực hiện tối ưu hóa có mục tiêu

Trường hợp: Định hướng tương lai

5. Dự án Web3 tương ứng phương pháp phân loại trên chuỗi A

Phần 1

< p style="text-align: left; ">Tác giả sẽ chia nó thành ba loại chính:

Infra: cơ sở hạ tầng A phi tập trung

Phần mềm trung gian: Cho phép Infra phục vụ lớp ứng dụng tốt hơn

Lớp ứng dụng: Một số được định hướng trực tiếp đến ứng dụng C-side/B-side

< p style="text-align: left;">Phần 2

Lớp hồng ngoại: AI Cơ sở hạ tầng luôn được chia thành ba loại : thuật toán điện toán dữ liệu (mô hình)

Thuật toán phi tập trung (mô hình):

@TheBittensorHub Research report: x.com/dvzhangtz/stat..@flock_ io

Sức mạnh tính toán phi tập trung:

p>

Sức mạnh tính toán chung: @akashnet_, @ionet

Sức mạnh tính toán đặc biệt: @rendernetwork (rendering) ,@gensynai(AI),@heuris_ai(Al )@exa_bits (A)(AD,

Dữ liệu phi tập trung:

Chú thích dữ liệu: @ PublciAl_, QuestLab

Bộ nhớ: IPFS, FIL

Oracle: Chainlink

< p style="text-align: left;">Chỉ mục:Biểu đồ

Phần 3

Phần mềm trung gian: Cách làm cho Infra phục vụ lớp ứng dụng tốt hơn

Quyền riêng tư: @zama fhe, @Privasea_ai

< p style="text-align: left;">Xác minh: EZKL, @ModulusLabs, @gizatechxyz

Lớp ứng dụng: Thực sự rất khó để phân loại tất cả các ứng dụng. Chúng tôi chỉ có thể liệt kê những cái tiêu biểu nhất

Phân tích dữ liệu

@_kaitoai,@DuneAnalytics , Adot

Đại lý

Thị trường: @myshell_ai

Chatbot kiến ​​thức Web3: @qnaweb3

Giúp mọi người thực hiện Thao tác: @autonolas

6.Nơi nào có nhiều khả năng tạo ra những dự án lớn hơn?

Trước hết, tương tự như các lĩnh vực khác, Infra thiên về các dự án lớn, đặc biệt là các mô hình phi tập trung và sức mạnh tính toán phi tập trung. Tác giả cảm thấy chi phí cận biên của nó thấp.

Sau đó, được truyền cảm hứng từ anh @owenliang60, tác giả cảm thấy rằng nếu một ứng dụng sát thủ xuất hiện trong lớp ứng dụng, nó cũng sẽ trở thành một dự án cấp cao nhất.

Nhìn lại lịch sử của các mô hình lớn, chính ứng dụng tuyệt vời ChatGPT đã đưa nó lên vị trí dẫn đầu. Đây không phải là một sự lặp lại lớn của công nghệ, nhưng đã từng là một. nhằm mục đích Tối ưu hóa trò chuyện của nhiệm vụ này. Có thể trong tương lai sẽ có những ứng dụng phi thường như Stepn/Friendtech trong lĩnh vực A+Web3, chúng ta cùng chờ xem