Crypto AI: Điện toán phi tập trung là vua

Tác giả: Teng Yan, Chain of Thought Dịch: Golden Finance xiaozou

Tôi rất tiếc về điều đó Tôi vẫn cảm thấy khó chịu vì đây chắc chắn là cơ hội đầu tư rõ ràng nhất đối với bất kỳ ai chú ý đến, nhưng tôi lại không bỏ một xu nào vào đó. Không, tôi không nói về kẻ giết người Solana tiếp theo hay một đồng xu meme chó đội chiếc mũ ngộ nghĩnh.

Nhưng... NVIDIA.

p>

Chỉ trong một năm, giá trị thị trường của NVDA đã tăng vọt từ 1 nghìn tỷ USD lên 3 nghìn tỷ USD, tăng gấp 3 lần, thậm chí vượt qua Bitcoin trong cùng thời kỳ.

Tất nhiên là có sự cường điệu về trí tuệ nhân tạo, nhưng phần lớn nó dựa trên thực tế. NVIDIA công bố doanh thu của họ trong năm tài chính 2024 là 60 tỷ USD, tăng 126% so với năm tài chính 2023, một hiệu suất đáng kinh ngạc.

Vậy tại sao tôi lại bỏ lỡ nó?

Trong hai năm qua, tôi chỉ tập trung vào lĩnh vực mã hóa và không nhìn ra thế giới bên ngoài hay để ý đến lĩnh vực trí tuệ nhân tạo. Tôi đã phạm phải một sai lầm lớn mà đến giờ tôi vẫn còn ám ảnh.

Nhưng tôi sẽ không phạm sai lầm tương tự nữa.

Ngày nay, AI tiền điện tử có cảm giác rất giống nhau. Chúng ta đang trên đà bùng nổ của sự đổi mới. Điều này quá giống với Cơn sốt vàng California vào giữa thế kỷ 19 để có thể bỏ qua - các ngành công nghiệp và thành phố mọc lên chỉ sau một đêm, cơ sở hạ tầng phát triển với tốc độ chóng mặt và sự giàu có được tạo ra bởi những người dám nghĩ và hành động.

Giống như NVIDIA trong những ngày đầu thành lập, Crypto AI sẽ là một cơ hội rõ ràng sau này.

Trong phần đầu tiên của bài viết này, tôi sẽ giải thích lý do tại sao Crypto AI lại là cơ hội hấp dẫn nhất dành cho các nhà đầu tư và nhà xây dựng hiện nay.

Tổng quan ngắn gọn như sau:

• Nhiều người vẫn cho rằng đó là chuyện tưởng tượng.

• Trí tuệ nhân tạo tiền điện tử vẫn đang ở giai đoạn đầu và có thể còn 1-2 năm nữa mới đạt đến đỉnh cao.

• Lĩnh vực này có cơ hội tăng trưởng ít nhất 230 tỷ USD.

Về cơ bản, Crypto AI là AI dựa trên cơ sở hạ tầng mật mã. Điều này có nghĩa là nó có nhiều khả năng đi theo quỹ đạo tăng trưởng theo cấp số nhân của trí tuệ nhân tạo hơn là thị trường tiền điện tử rộng lớn hơn. Vì vậy, để không bị bỏ lại phía sau, điều cần thiết là phải theo dõi nghiên cứu AI mới nhất về Arxiv và nói chuyện với những người sáng lập tin rằng họ đang tạo ra những sản phẩm và dịch vụ tuyệt vời tiếp theo.

Trong phần thứ hai của bài viết này, tôi sẽ đi sâu vào bốn trường con hứa hẹn nhất của AI tiền điện tử:

• Điện toán phi tập trung: Đào tạo, suy luận và thị trường GPU

• Mạng dữ liệu

• AI có thể xác minh

• Tác nhân AI chạy trên chuỗi

< p style="text-align: left;">Để viết bài này, tôi đã dành vài tuần để tiến hành nghiên cứu chuyên sâu và nói chuyện với những người sáng lập cũng như các nhóm trong lĩnh vực Crypto AI và bài viết này là đỉnh cao của những nỗ lực đó. Bài viết này không đi sâu vào mọi lĩnh vực. Thay vào đó, bạn có thể coi nó như một lộ trình cấp cao được thiết kế để kích thích trí tò mò, nâng cao trình độ nghiên cứu và định hướng tư duy đầu tư của bạn.

p>

1. Bối cảnh AI về tiền điện tử

Tôi mô tả ngăn xếp trí tuệ nhân tạo phi tập trung như một hệ sinh thái có nhiều lớp: Một đầu của nó bắt đầu với mạng lưới điện toán phi tập trung và dữ liệu mở, cung cấp hỗ trợ cho việc đào tạo mô hình AI phi tập trung.

Sau đó, sự kết hợp giữa mật mã, khuyến khích kinh tế tiền điện tử và mạng đánh giá được sử dụng để xác minh từng suy luận—cả đầu vào và đầu ra. Những kết quả đầu ra đã được xác minh này sẽ chuyển đến các tác nhân trí tuệ nhân tạo có thể chạy tự động trên chuỗi, cũng như các ứng dụng AI dành cho người tiêu dùng và doanh nghiệp mà người dùng có thể thực sự tin tưởng.

Mạng lưới phối hợp gắn kết mọi thứ lại với nhau, cho phép giao tiếp và cộng tác liền mạch trên toàn bộ hệ sinh thái.

Trong tầm nhìn này, bất kỳ ai xây dựng trí tuệ nhân tạo đều có thể tận dụng một hoặc nhiều lớp của ngăn xếp này tùy thuộc vào nhu cầu cụ thể của họ. Cho dù tận dụng điện toán phi tập trung để đào tạo mô hình hay sử dụng mạng đánh giá để đảm bảo đầu ra chất lượng cao, ngăn xếp đều cung cấp nhiều tùy chọn.

Do khả năng kết hợp vốn có của blockchain, tôi tin rằng chúng ta sẽ tự nhiên hướng tới một tương lai mô-đun. Mỗi lớp đang trở nên chuyên môn hóa cao, với các giao thức được tối ưu hóa cho các chức năng khác nhau thay vì sử dụng phương pháp tích hợp tất cả trong một.

p>

Có một số lượng lớn các công ty khởi nghiệp ở mọi tầng của hệ thống trí tuệ nhân tạo phi tập trung, hầu hết đều được thành lập trong 1-3 năm qua. Rõ ràng là lĩnh vực này vẫn còn ở giai đoạn đầu.

Bản đồ khởi nghiệp Crypto AI toàn diện và cập nhật nhất mà tôi từng thấy được Casey và nhóm của cô ấy duy trì tại topology.vc. Đây là nguồn tài nguyên vô giá cho bất kỳ ai theo dõi lĩnh vực này.

Khi tìm hiểu sâu hơn về trường con Crypto AI, tôi luôn tự hỏi: Cơ hội là gì? Tôi không quan tâm đến những điều nhỏ nhặt – tôi đang tìm kiếm những thị trường có quy mô hàng trăm tỷ đô la.

(1) Quy mô thị trường

Hãy thực hiện trước Hãy nhìn vào quy mô thị trường. Khi đánh giá một thị trường ngách, tôi tự hỏi:Nó đang tạo ra một thị trường hoàn toàn mới hay phá vỡ thị trường hiện tại?

Lấy điện toán phi tập trung làm ví dụ. Đây là một hạng mục mang tính đột phá mà tiềm năng của nó có thể được đánh giá bằng cách nhìn vào thị trường điện toán đám mây hiện tại, hiện có giá trị khoảng 680 tỷ USD và dự kiến ​​sẽ đạt 2,5 nghìn tỷ USD vào năm 2032.

Các thị trường mới chưa từng có, chẳng hạn như các tác nhân trí tuệ nhân tạo, khó định lượng hơn. Nếu không có dữ liệu lịch sử, việc đánh giá của họ đòi hỏi phải phỏng đoán và đánh giá vấn đề họ đang giải quyết. Điều quan trọng cần lưu ý là đôi khi, những gì trông giống như một thị trường mới thực ra chỉ là nỗ lực tìm ra giải pháp cho một vấn đề.

(2) Thời gian

Thời gian là tất cả. Công nghệ có xu hướng cải tiến và trở nên rẻ hơn theo thời giannhưng tốc độ phát triển lại khác nhau.

Công nghệ đã trưởng thành như thế nào trong một phân khúc cụ thể? Nó đã sẵn sàng để được áp dụng đại trà hay vẫn đang trong giai đoạn nghiên cứu và còn có những ứng dụng thực tế trong vài năm nữa? Thời điểm quyết định liệu một ngành có đáng được quan tâm ngay lập tức hay “chờ xem”.

Lấy mã hóa đồng cấu hoàn toàn (FHE) làm ví dụ: tiềm năng của nó là không thể phủ nhận, nhưng hiện tại sự phát triển của nó vẫn còn quá chậm để được sử dụng rộng rãi. Có thể phải mất vài năm nữa chúng ta mới thấy được sự áp dụng rộng rãi. Bằng cách tập trung vào những lĩnh vực gần với quy mô hơn trước, tôi có thể dành thời gian và sức lực của mình cho những lĩnh vực đang tạo đà và cơ hội.

p>

Nếu tôi ánh xạ các danh mục này lên biểu đồ tỷ lệ theo thời gian, nó sẽ trông như thế này. Hãy nhớ rằng, đây là bản đồ khái niệm, không phải là hướng dẫn cứng nhắc. Có nhiều sắc thái - ví dụ: trong suy luận có thể kiểm chứng, các phương pháp khác nhau (chẳng hạn như zkML và opML) có mức độ sẵn sàng sử dụng khác nhau.

Điều đó nói lên rằng, tôi tin rằng quy mô của trí tuệ nhân tạo sẽ lớn đến mức ngay cả một lĩnh vực có vẻ "ngách" ngày nay cũng có thể phát triển thành một thị trường quan trọng. .

Cũng cần lưu ý rằng tiến bộ công nghệ không phải lúc nào cũng tiến triển theo đường thẳng—nó thường diễn ra đột ngột. Khi nó đột ngột bùng phát, quan điểm của tôi về thời điểm và quy mô thị trường sẽ thay đổi.

Với khuôn khổ này, chúng ta hãy xem xét chi tiết từng trường con.

2. Lĩnh vực 1: Máy tính phi tập trung

< li>

Điện toán phi tập trung là xương sống của trí tuệ nhân tạo phi tập trung.

• Thị trường GPU, đào tạo phi tập trung và suy luận phi tập trung được liên kết chặt chẽ với nhau.

• Phía cung cấp thường đến từ các trung tâm dữ liệu vừa và nhỏ và GPU tiêu dùng.

• Mặc dù nhu cầu còn nhỏ nhưng nó vẫn đang tăng lên. Ngày nay, nó đến từ những người dùng nhạy cảm về giá, không nhạy cảm với độ trễ và các công ty khởi nghiệp AI nhỏ hơn.

• Thách thức lớn nhất hiện nay đối với thị trường GPU Web3 là làm thế nào để chúng chạy đúng cách.

• Việc điều phối GPU trên mạng phi tập trung đòi hỏi các kỹ thuật kỹ thuật tiên tiến và kiến ​​trúc mạng đáng tin cậy, được thiết kế tốt.

Thị trường GPU/Mạng máy tính 2.1

Có một số nhóm AI về tiền điện tử đang được xây dựng để đáp ứng tình trạng thiếu GPU không thể đáp ứng nhu cầu Mạng phi tập trung, tận dụng sức mạnh tính toán tiềm năng của thế giới.

Tuyên bố giá trị cốt lõi của thị trường GPU có ba khía cạnh:

• Bạn có thể truy cập điện toán với mức giá "thấp hơn 90%" so với AWS vì không có người trung gian và phía cung cấp luôn mở. Về cơ bản, những thị trường này cho phép bạn tận dụng chi phí điện toán cận biên thấp nhất trên thế giới.

• Tính linh hoạt cao hơn: không có hợp đồng bị khóa, không có quy trình KYC, không có thời gian chờ đợi.

• Chống kiểm duyệt

Để giải quyết vấn đề phía cung thị trường, sức mạnh tính toán của các thị trường này đến từ:

• GPU cấp doanh nghiệp (chẳng hạn như A100, H100) khó tìm thấy ở các trung tâm dữ liệu vừa và nhỏ hoặc các công ty khai thác Bitcoin đang tìm kiếm sự đa dạng hóa. Tôi cũng biết các nhóm làm việc trong các dự án cơ sở hạ tầng lớn do chính phủ tài trợ, nơi các trung tâm dữ liệu đã được xây dựng như một phần của kế hoạch phát triển công nghệ. Các nhà cung cấp GPU này thường được khuyến khích duy trì GPUT của họ trên mạng, điều này giúp họ bù đắp chi phí khấu hao của GPU.

• GPU tiêu dùng dành cho hàng triệu game thủ và người dùng gia đình kết nối máy tính của họ với Internet để nhận phần thưởng Token .

Mặt khác, nhu cầu về điện toán phi tập trung ngày nay đến từ:

• Người dùng nhạy cảm về giá và không nhạy cảm với độ trễ. Phân khúc này ưu tiên giá hơn tốc độ. Hãy nghĩ đến việc các nhà nghiên cứu khám phá các lĩnh vực mới, các nhà phát triển AI độc lập và những người dùng quan tâm đến chi phí khác, những người không yêu cầu xử lý theo thời gian thực. Do hạn chế về ngân sách, nhiều người trong số họ có thể không hài lòng với các máy chủ siêu quy mô truyền thống như AWS hoặc Azure. Bởi vì họ phân bố rộng rãi trong dân chúng nên việc tiếp thị có mục tiêu là rất quan trọng để thu hút nhóm này.

• Các công ty khởi nghiệp AI nhỏ phải đối mặt với thách thức không ký hợp đồng dài hạn với các nhà cung cấp đám mây lớn thách thức trong việc có được tài nguyên tính toán linh hoạt và có thể mở rộng. Phát triển kinh doanh là rất quan trọng để thu hút phân khúc này khi họ tích cực tìm kiếm các giải pháp thay thế cho việc khóa chặt quy mô lớn.

• Khởi nghiệp tiền điện tử AI Họ xây dựng các sản phẩm trí tuệ nhân tạo phi tập trung nhưng không có thuật toán riêng. Nguồn điện sẽ yêu cầu sử dụng tài nguyên của một trong các mạng.

• Chơi game trên đám mây:Mặc dù không được điều khiển trực tiếp bởi AI nhưng chơi game trên đám mây yêu cầu tài nguyên GPU. Nó ngày càng lớn hơn và lớn hơn.

Điều quan trọng cần nhớ là: Các nhà phát triển luôn ưu tiên chi phí và độ tin cậy .

Thách thức thực sự là cầu chứ không phải cung.

Các công ty khởi nghiệp trong lĩnh vực này thường coi quy mô mạng lưới cung cấp GPU của họ là dấu hiệu thành công. Nhưng điều này là sai lầm - trong trường hợp tốt nhất, nó chỉ là thước đo của sự phù phiếm.

Rào cản thực sự không phải là cung mà là cầu. Các số liệu chính được theo dõi không phải là số lượng GPU có sẵn mà là mức sử dụng và số lượng GPU thực sự được thuê.

Mã thông báo thực hiện xuất sắc vai trò cung cấp khởi động, tạo ra các động lực cần thiết để mở rộng quy mô một cách nhanh chóng. Tuy nhiên, về cơ bản chúng không giải quyết được vấn đề nhu cầu. Thử nghiệm thực sự là đưa sản phẩm vào trạng thái đủ tốt để nhận ra nhu cầu tiềm ẩn.

Haseeb Qureshi (Dragonfly) nói rất hay:

Làm cho mạng máy tính thực sự hoạt động

Trái ngược với suy nghĩ của nhiều người, rào cản lớn nhất mà thị trường GPU phân tán web3 hiện đang phải đối mặt là khiến chúng hoạt động bình thường.

Đây không phải là một câu hỏi tầm thường.

Việc điều phối GPU trong mạng phân tán rất phức tạp với nhiều thách thức - phân bổ tài nguyên, thay đổi quy mô khối lượng công việc động, cân bằng tải nút, độ trễ quản lý, truyền dữ liệu, khả năng chịu lỗi và xử lý các phần cứng khác nhau được phân bổ ở các vị trí địa lý khác nhau giữa các GPU. Tôi có thể tiếp tục.

Để đạt được điều này đòi hỏi kỹ thuật chu đáo và kiến ​​trúc mạng được thiết kế tốt, đáng tin cậy.

Để hiểu rõ hơn, hãy nghĩ đến Kubernetes của Google. Nó được coi là tiêu chuẩn vàng cho việc điều phối vùng chứa, tự động hóa các quy trình như cân bằng tải và mở rộng quy mô trong môi trường phân tán, rất giống với những thách thức mà mạng GPU phân tán phải đối mặt. Bản thân Kubernetes được xây dựng dựa trên hơn một thập kỷ kinh nghiệm của Google và thậm chí sau đó phải mất nhiều năm lặp đi lặp lại không ngừng để hoạt động tốt.

Một số thị trường điện toán GPU hiện đang trực tuyến có thể xử lý khối lượng công việc quy mô nhỏ, nhưng một khi họ cố gắng mở rộng quy mô thì sẽ phát sinh vấn đề. Tôi nghi ngờ điều này là do nền tảng kiến ​​trúc của họ được thiết kế kém.

Một thách thức/cơ hội khác đối với các mạng điện toán phi tập trung là đảm bảo độ tin cậy: xác minh rằng mỗi nút thực sự cung cấp sức mạnh tính toán được yêu cầu. Hiện tại, điều này phụ thuộc vào danh tiếng của mạng và trong một số trường hợp, các nhà cung cấp năng lượng băm được xếp hạng dựa trên điểm danh tiếng. Blockchain có vẻ rất phù hợp cho một hệ thống xác minh không cần sự tin cậy. Các công ty khởi nghiệp như Gensyn và Spheron đang tìm cách giải quyết vấn đề này bằng cách sử dụng phương pháp không tin cậy.

Ngày nay, nhiều nhóm web3 vẫn đang phải vật lộn với những thách thức này, điều đó có nghĩa là cánh cửa cơ hội đang rộng mở.

Quy mô thị trường máy tính phi tập trung

Sự phân quyền lớn đến mức nào thị trường mạng máy tính?

Ngày nay, nó có thể chỉ là một phần nhỏ trong ngành điện toán đám mây trị giá từ 680 tỷ USD đến 2,5 nghìn tỷ USD. Tuy nhiên, bất chấp những trở ngại gia tăng đối với người dùng, sẽ luôn có nhu cầu miễn là chi phí thấp hơn so với các nhà cung cấp truyền thống.

Tôi tin rằng chi phí sẽ vẫn ở mức thấp trong ngắn và trung hạn do trợ cấp mã thông báo và mở khóa nguồn cung cho những người dùng không nhạy cảm về giá (ví dụ: nếu tôi muốn nếu tôi có thể cho thuê máy tính xách tay chơi game của mình để kiếm thêm tiền, cho dù đó là 20 đô la hay 50 đô la một tháng).

p>

Nhưng tiềm năng tăng trưởng thực sự của các mạng điện toán phi tập trung—và sự mở rộng thực sự của TAM của chúng—sẽ xảy ra khi:

< li>

Đào tạo phi tập trung các mô hình trí tuệ nhân tạo đã trở nên thiết thực.

• Nhu cầu suy luận tăng cao và các trung tâm dữ liệu hiện tại không thể đáp ứng được nhu cầu. Điều này đã bắt đầu xảy ra. Jensen Huang cho rằng nhu cầu suy luận sẽ tăng “hàng tỷ lần”.

• Các Thỏa thuận cấp độ dịch vụ (SLA) phù hợp sẽ có sẵn, giải quyết vấn đề then chốt đối với trở ngại việc áp dụng của doanh nghiệp. Hiện tại, hoạt động của điện toán phi tập trung cho phép người dùng trải nghiệm các mức chất lượng dịch vụ khác nhau (chẳng hạn như tỷ lệ phần trăm thời gian hoạt động). Với SLA, các mạng này có thể cung cấp các số liệu hiệu suất và độ tin cậy được tiêu chuẩn hóa, làm cho điện toán phi tập trung trở thành một giải pháp thay thế khả thi cho các nhà cung cấp điện toán đám mây truyền thống.

Điện toán không cần cấp phép phi tập trung là lớp cơ bản của hệ sinh thái - cơ sở hạ tầng trí tuệ nhân tạo phi tập trung.

Mặc dù chuỗi cung ứng GPU đang mở rộng nhưng tôi tin rằng chúng ta vẫn đang ở buổi bình minh của kỷ nguyên trí tuệ nhân loại. Nhu cầu về điện toán sẽ là vô tận.

Điều quan trọng cần lưu ý là điểm uốn có thể kích hoạt việc xếp hạng lại tất cả các thị trường GPU đang hoạt động có thể sẽ sớm xuất hiện.

Ghi chú khác:

• Thị trường GPU thuần túy rất đông đúc, với sự cạnh tranh khốc liệt giữa các nền tảng phi tập trung và sự nổi lên của các dịch vụ đám mây web2 AI mới nổi như Vast.ai và Lambda.

< li>

Các nút nhỏ (chẳng hạn như 4 x H100) không có nhu cầu lớn vì việc sử dụng chúng còn hạn chế, nhưng chúc may mắn tìm được người bán cụm lớn - vẫn có một số nhu cầu về chúng

• Liệu một người chơi thống trị sẽ tổng hợp tất cả nguồn cung cấp năng lượng băm cho một giao thức phi tập trung hay sẽ giữ sức mạnh băm phân tán trên nhiều thị trường? Tôi thích cái trước hơn vì việc hợp nhất thường dẫn đến hiệu quả cơ sở hạ tầng cao hơn. Nhưng điều này sẽ mất thời gian, và trong lúc đó, sự chia rẽ và nhầm lẫn vẫn tiếp tục

• Các nhà phát triển muốn tập trung vào phát triển ứng dụng hơn là xử lý việc triển khai và cấu hình. Thị trường phải loại bỏ những sự phức tạp này để giúp việc truy cập điện toán trở nên suôn sẻ nhất có thể.

2.2 Đào tạo phi tập trung

• Nếu quy luật mở rộng quy mô là đúng thì việc đào tạo thế hệ mô hình trí tuệ nhân tạo tiên tiến tiếp theo trong một trung tâm dữ liệu một ngày nào đó sẽ trở nên bất khả thi.

• Đào tạo mô hình AI yêu cầu truyền lượng lớn dữ liệu giữa các GPU. Tốc độ truyền dữ liệu (kết nối) thấp hơn giữa các GPU phân tán thường là trở ngại lớn nhất.

• Các nhà nghiên cứu đang khám phá nhiều phương pháp cùng lúc và đang tạo ra những bước đột phá (chẳng hạn như Open DiLoCo, DisTrO). Những tiến bộ này sẽ tích lũy và đẩy nhanh tiến độ trong lĩnh vực này

• Tương lai của đào tạo phi tập trung có thể nằm ở đó. Thiết kế các mô hình chuyên dụng nhỏ cho các ứng dụng thích hợp thay vì các mô hình tiên tiến, tập trung vào AGI

• Với việc chuyển sang OpenAI o1. mô hình thay đổi, nhu cầu suy luận sẽ tăng cao, tạo cơ hội cho các mạng lý luận phi tập trung.

Hãy tưởng tượng điều này: một mô hình trí tuệ nhân tạo khổng lồ, có khả năng thay đổi thế giới được phát triển không phải trong một phòng thí nghiệm ưu tú bí mật mà được định hình bởi hàng triệu người của những người bình thường. Các game thủ, những người có GPU thường tạo ra các vụ nổ giống như rạp hát trong Call of Duty, hiện đang cho mượn phần cứng của họ cho một thứ gì đó vĩ đại hơn nhiều — một mô hình trí tuệ nhân tạo mã nguồn mở, thuộc sở hữu chung mà không có người gác cổng trung tâm.

Trong tương lai, các mô hình ở quy mô nền tảng không chỉ giới hạn ở các phòng thí nghiệm AI hàng đầu.

Nhưng hãy đặt tầm nhìn này vào thực tế ngày nay. Hiện tại, hầu hết hoạt động đào tạo trí tuệ nhân tạo hạng nặng vẫn tập trung ở các trung tâm dữ liệu tập trung và điều này có thể trở thành tiêu chuẩn trong một thời gian.

Các công ty như OpenAI đang mở rộng các cụm lớn của họ. Elon Musk mới đây thông báo xAI sắp xây dựng một trung tâm dữ liệu tương đương 200.000 GPU H100.

Nhưng vấn đề không chỉ là số lượng GPU thô. Mô hình sử dụng FLOPS (MFU) là chỉ số được Google đề xuất trong bài viết nghiên cứu PaLM năm 2022 nhằm theo dõi mức độ hiệu quả của việc sử dụng công suất tối đa của GPU. Điều đáng ngạc nhiên là MFU thường dao động trong khoảng 35-40%.

Sao thấp thế? Theo Định luật Moore, hiệu suất GPU đột ngột tăng vọt trong vài năm trở lại đây, nhưng những cải tiến về mạng, bộ nhớ và lưu trữ lại tụt hậu đáng kể, tạo thành nút thắt cổ chai. Do đó, GPU thường ở trạng thái tiết lưu, chờ dữ liệu.

Việc đào tạo trí tuệ nhân tạo ngày nay vẫn được chú trọng cao độ vì một từ - hiệu quả.

Đào tạo mô hình lớn phụ thuộc vào các kỹ thuật sau:

• Song song dữ liệu: Thực hiện các thao tác song song trên các tập dữ liệu được phân tách trên nhiều GPU, đẩy nhanh quá trình đào tạo.

• Song song mô hình: Phân phối các phần của mô hình trên nhiều GPU, bỏ qua hạn chế về bộ nhớ.

Các phương pháp này yêu cầu GPU phải liên tục trao đổi dữ liệu, Tốc độ kết nối - dữ liệu trong mạng tốc độ truyền tải giữa các máy tính—trở nên quan trọng.

Khi chi phí đào tạo các mô hình trí tuệ nhân tạo tiên tiến vượt quá 1 tỷ USD thì mọi cải tiến hiệu quả đều quan trọng.

Thông qua kết nối tốc độ cao, các trung tâm dữ liệu tập trung có thể nhanh chóng truyền dữ liệu giữa các GPU và tiết kiệm chi phí đáng kể trong thời gian đào tạo. Đây là một môi trường phi tập trung có một không hai.

Khắc phục tốc độ kết nối chậm

Nếu bạn đang xử lý Nói chuyện với những người làm việc trong lĩnh vực trí tuệ nhân tạo và nhiều người sẽ nói với bạn rằng đào tạo phi tập trung đơn giản là không hiệu quả.

Trong môi trường phi tập trung, các cụm GPU không cùng tồn tại về mặt vật lý, do đó việc truyền dữ liệu giữa chúng chậm hơn nhiều và trở thành nút cổ chai. Quá trình đào tạo yêu cầu GPU phải đồng bộ hóa và trao đổi dữ liệu ở mọi bước. Chúng càng cách xa nhau thì độ trễ càng cao. Độ trễ cao hơn có nghĩa là đào tạo chậm hơn và chi phí cao hơn.

Có thể mất vài ngày ở trung tâm dữ liệu tập trung và có thể kéo dài đến hai tuần ở trung tâm dữ liệu phi tập trung và chi phí cũng cao hơn. Điều này đơn giản là không khả thi.

Nhưng điều đó sắp thay đổi.

Tin tốt là mối quan tâm nghiên cứu về đào tạo phân tán đang tăng lên. Các nhà nghiên cứu đang khám phá nhiều cách tiếp cận cùng một lúc, bằng chứng là nhiều nghiên cứu và bài báo đã xuất bản. Những tiến bộ này sẽ chồng lên nhau và hợp nhất để đẩy nhanh tiến độ trong lĩnh vực này.

Đó cũng là việc thử nghiệm trong sản xuất để xem chúng tôi có thể vượt qua các ranh giới đến mức nào.

Một số kỹ thuật đào tạo phi tập trung đã có thể xử lý các mô hình nhỏ hơn trong môi trường kết nối chậm. Giờ đây, nghiên cứu tiên tiến đang thúc đẩy việc áp dụng các phương pháp này cho các mô hình lớn.

Ví dụ: bài viết DiCoLo nguồn mở của Prime Intellect cho thấy một cách tiếp cận thực tế liên quan đến các "đảo" GPU trước khi đồng bộ hóa Thực hiện 500 bước cục bộ cắt giảm yêu cầu băng thông 500 lần. Những gì bắt đầu khi nghiên cứu của Google DeepMind về các mô hình nhỏ đã mở rộng sang đào tạo mô hình tham số 10 tỷ vào tháng 11 và hiện là nguồn mở hoàn toàn.

p>

• Nous Research đang nâng cao tiêu chuẩn với khung DisTrO của họ, khung này sử dụng trình tối ưu hóa để huấn luyện mô hình tham số 1.2B trong khi đặt ra các yêu cầu Giao tiếp GPU được giảm đi một con số đáng kinh ngạc là 10.000 lần.

• Và đà này vẫn đang tăng lên. Vào tháng 12, Nous đã công bố đào tạo trước mô hình tham số 15B với các đường cong tổn thất (cách lỗi mô hình giảm theo thời gian) và tốc độ hội tụ (tốc độ ổn định hiệu suất mô hình) thậm chí còn phù hợp với kết quả điển hình của đào tạo tập trung. Có, tốt hơn là tập trung hóa.

• SWARM Parallelism và DTFMHE được thiết kế để đào tạo các mô hình AI lớn trên nhiều nền tảng khác nhau loại thiết bị khác, các phương pháp khác nhau, ngay cả khi các thiết bị này có tốc độ và mức độ kết nối khác nhau.

Quản lý nhiều loại phần cứng GPU là một thách thức khác, bao gồm cả những hạn chế về bộ nhớ điển hình của GPU cấp tiêu dùng của mạng phi tập trung. Các kỹ thuật như song song mô hình (phân vùng các lớp mô hình trên các thiết bị) có thể giúp giải quyết vấn đề này.

Tương lai của đào tạo phi tập trung

Hiện tại đang được phân cấp Mô hình quy mô của các phương pháp đào tạo tập trung vẫn thấp hơn nhiều so với các mô hình hàng đầu (GPT-4 được cho là có gần một nghìn tỷ tham số, lớn hơn 100 lần so với mô hình 10B của Prime Intellect). Để đạt được quy mô thực sự, chúng ta cần những đột phá về kiến ​​trúc mô hình, cơ sở hạ tầng mạng tốt hơn và phân bổ nhiệm vụ thông minh hơn trên các thiết bị.

Chúng ta có thể mơ ước lớn lao. Hãy tưởng tượng một thế giới nơi đào tạo phi tập trung tổng hợp nhiều sức mạnh tính toán GPU hơn cả những trung tâm dữ liệu tập trung lớn nhất có thể tập hợp được.

Pluralis Research (một nhóm ưu tú chuyên đào tạo phi tập trung đáng để mắt tới) tin rằng điều này không chỉ có thể xảy ra mà còn là điều không thể tránh khỏi. Trong khi các trung tâm dữ liệu tập trung bị giới hạn bởi các hạn chế về mặt vật lý như không gian và nguồn điện sẵn có, thì các mạng phi tập trung có thể khai thác nguồn tài nguyên toàn cầu thực sự không giới hạn.

Ngay cả Jensen Huang của NVIDIA cũng thừa nhận rằng đào tạo phi tập trung không đồng bộ có thể giải phóng tiềm năng thực sự của việc mở rộng quy mô trí tuệ nhân tạo. Mạng đào tạo phân tán cũng có khả năng chịu lỗi tốt hơn.

Do đó, trong một thế giới có thể xảy ra trong tương lai,những mô hình trí tuệ nhân tạo mạnh nhất thế giới sẽ được đào tạo theo cách phi tập trung.

Đây là một triển vọng thú vị, nhưng tôi chưa hoàn toàn bị thuyết phục. Chúng ta cần bằng chứng mạnh mẽ hơn rằng việc đào tạo phi tập trung cho các mô hình lớn nhất là khả thi về mặt kỹ thuật và kinh tế.

Tôi thấy điều này có nhiều hứa hẹn: điều tốt nhất về đào tạo phi tập trung có thể là các mô hình nguồn mở nhỏ, được xây dựng có mục đích được thiết kế cho các trường hợp sử dụng mục tiêu< < /strong>Thay vì cạnh tranh với các mẫu hàng đầu có kích thước lớn được hỗ trợ bởi AGI. Một số kiến ​​trúc nhất định, đặc biệt là các mô hình không biến áp, đã được chứng minh là rất phù hợp với các thiết lập phi tập trung.

Còn một mảnh ghép khác cho câu đố: token. Khi việc đào tạo phi tập trung trở nên khả thi trên quy mô lớn, mã thông báo có thể đóng một vai trò quan trọng trong việc khuyến khích và khen thưởng những người đóng góp, khởi động các mạng này một cách hiệu quả.

Con đường hiện thực hóa tầm nhìn này vẫn còn dài nhưng có nhiều tiến bộ đáng khích lệ. Khi các mô hình trong tương lai sẽ mở rộng vượt quá khả năng của một trung tâm dữ liệu duy nhất, những tiến bộ trong đào tạo phi tập trung sẽ mang lại lợi ích cho tất cả mọi người, ngay cả các công ty công nghệ lớn và các phòng thí nghiệm nghiên cứu AI hàng đầu.

Tương lai được phân phối. Khi một công nghệ có tiềm năng rộng lớn như vậy, lịch sử cho thấy nó luôn hoạt động tốt hơn và nhanh hơn bất kỳ ai mong đợi.

2.3. Lý luận phi tập trung

Hiện tại, Phần lớn là nhân tạo sức mạnh tính toán của trí thông minh tập trung vào việc đào tạo các mô hình quy mô lớn. Đang có sự cạnh tranh giữa các phòng thí nghiệm trí tuệ nhân tạo hàng đầu để xem ai có thể phát triển các mô hình cơ bản tốt nhất và cuối cùng đạt được AGI.

Nhưng quan điểm của tôi là thế này: trong vài năm tới, điện toán tập trung vào đào tạo này sẽ chuyển sang suy luận. Khi AI ngày càng được tích hợp vào các ứng dụng chúng ta sử dụng hàng ngày—từ chăm sóc sức khỏe đến giải trí—lượng tài nguyên máy tính cần thiết để hỗ trợ suy luận sẽ rất đáng kinh ngạc.

p>

Đây không chỉ là suy đoán. Chia tỷ lệ tính toán theo thời gian suy luận là từ thông dụng mới nhất trong lĩnh vực trí tuệ nhân tạo. OpenAI gần đây đã phát hành phiên bản xem trước/mini của mẫu 01 mới nhất (tên mã: Strawberry), đây có phải là một sự thay đổi lớn? Cần có thời gian để suy nghĩ, trước tiên hãy tự hỏi bản thân xem bạn nên thực hiện những bước nào để trả lời câu hỏi này, sau đó tiến hành từng bước một.

Mô hình này được thiết kế cho các nhiệm vụ phức tạp hơn đòi hỏi phải lập kế hoạch nhiều, chẳng hạn như trò chơi ô chữ và các vấn đề đòi hỏi suy luận sâu hơn. Bạn sẽ nhận thấy rằng nó chậm hơn, mất nhiều thời gian hơn để tạo ra phản hồi, nhưng kết quả lại sâu sắc và nhiều sắc thái hơn. Nó cũng đắt hơn nhiều khi chạy (đắt hơn 25 lần so với GPT-4).

Sự thay đổi trọng tâm rất rõ ràng: bước nhảy vọt tiếp theo về hiệu suất AI sẽ không chỉ đến từ việc đào tạo các mô hình lớn hơn mà còn đến từ việc mở rộng ứng dụng điện toán trong quá trình suy luận.

Nếu bạn muốn biết thêm, một số bài nghiên cứu cho thấy:

• Việc mở rộng quy mô tính toán suy luận thông qua lấy mẫu lặp lại có thể dẫn đến những cải tiến lớn trong nhiều nhiệm vụ khác nhau.

• Ngoài ra còn có một định luật hàm mũ mở rộng cho suy luận.

Sau khi huấn luyện các mô hình mạnh mẽ, nhiệm vụ suy luận của chúng—những gì mô hình làm—có thể được chuyển sang mạng điện toán phi tập trung. Điều này hợp lý vì:

• Suy luận đòi hỏi ít tài nguyên hơn nhiều. Sau khi đào tạo, mô hình có thể được nén và tối ưu hóa bằng cách sử dụng các kỹ thuật như lượng tử hóa, cắt tỉa hoặc chưng cất. Chúng thậm chí có thể được chia nhỏ để chạy trên các thiết bị tiêu dùng hàng ngày. Bạn không cần GPU cao cấp để hỗ trợ suy luận.

• Điều này đã xảy ra rồi. Exo Labs đã tìm ra cách chạy các mẫu Llama3 tham số 450B trên phần cứng cấp độ người tiêu dùng như MacBook và Mac Minis. Phân phối suy luận trên nhiều thiết bị để xử lý khối lượng công việc quy mô lớn một cách hiệu quả và tiết kiệm chi phí.

• Trải nghiệm người dùng tốt hơn. Việc chạy tính toán gần hơn với người dùng giúp giảm độ trễ, điều này rất quan trọng đối với các ứng dụng thời gian thực như trò chơi, AR hoặc ô tô tự lái. Mỗi mili giây đều có giá trị.

Hãy coi suy luận phi tập trung như một CDN (mạng phân phối nội dung) cho trí tuệ nhân tạo: suy luận phi tập trung thúc đẩy sức mạnh tính toán cục bộ, cung cấp AI phản hồi trong thời gian kỷ lục thay vì phục vụ các trang web một cách nhanh chóng bằng cách kết nối với các máy chủ gần đó. Bằng cách sử dụng suy luận phi tập trung, các ứng dụng AI trở nên hiệu quả, phản hồi nhanh và đáng tin cậy hơn.

Xu hướng này là hiển nhiên. Chip M4 Pro mới của Apple cạnh tranh với RTX 3070 Ti của Nvidia, sản phẩm cho đến gần đây vẫn là lĩnh vực của những game thủ khó tính. Phần cứng của chúng tôi ngày càng có khả năng xử lý khối lượng công việc AI nâng cao.

Giá trị gia tăng của tiền điện tử

Các yêu cầu về mạng lý luận phi tập trung Để trở thành thành công thì phải có động cơ tài chính hấp dẫn. Các nút trong mạng cần được bù đắp cho sự đóng góp sức mạnh tính toán của chúng. Hệ thống phải đảm bảo rằng phần thưởng được phân phối công bằng và hiệu quả. Sự đa dạng về địa lý là cần thiết để giảm độ trễ trong các tác vụ suy luận và cải thiện khả năng chịu lỗi.

Cách tốt nhất để xây dựng mạng lưới phi tập trung là gì? Tiền điện tử.

Mã thông báo cung cấp một cơ chế mạnh mẽ để điều phối lợi ích của người tham gia, đảm bảo rằng mọi người đều hướng tới cùng một mục tiêu: mở rộng mạng lưới và tăng giá trị mã thông báo.

Mã thông báo cũng đẩy nhanh sự phát triển của mạng. Chúng giúp giải quyết vấn đề con gà và quả trứng kinh điển đã cản trở sự phát triển của hầu hết các mạng bằng cách khen thưởng những người chấp nhận sớm và thúc đẩy sự tương tác ngay từ ngày đầu tiên.

Sự thành công của Bitcoin và Ethereum đã chứng minh điều này - chúng đã tập hợp được nguồn sức mạnh tính toán lớn nhất trên hành tinh.

Mạng suy luận phi tập trung sẽ là mạng tiếp theo. Do tính đa dạng về mặt địa lý, chúng làm giảm độ trễ, tăng khả năng chịu lỗi và đưa AI đến gần hơn với người dùng. Được khuyến khích bằng mật mã, chúng sẽ mở rộng quy mô nhanh hơn và tốt hơn các mạng truyền thống.

(Để tiếp tục, vui lòng theo dõi)