Tác giả: Daniel Barabander, Luật sư trưởng và Đối tác của Variant Fund Người biên soạn: 0xjs@金财经
Những điểm chính của bài viết này
Hiện nay, việc phát triển AI cơ bản do một số công ty công nghệ thống trị và đang trong tình trạng đóng cửa, phản cạnh tranh.
Phát triển phần mềm nguồn mở là một lựa chọn khác, nhưng AI cơ bản không thể được phát triển như một dự án phần mềm nguồn mở truyền thống (chẳng hạn như Linux) vì nó có "vấn đề về tài nguyên" và nguồn mở Những người tham gia cũng được yêu cầu quyên góp chi phí máy tính và dữ liệu vượt quá khả năng cá nhân của họ.
Tiền điện tử giải quyết vấn đề tài nguyên bằng cách khuyến khích các nhà cung cấp tài nguyên đóng góp cho các dự án AI nguồn mở thông qua quyền sở hữu.
AI nguồn mở kết hợp với mã hóa có thể hỗ trợ các mô hình lớn hơn và thúc đẩy nhiều đổi mới hơn, từ đó tạo ra AI tốt hơn.
Giới thiệu
Một cuộc thăm dò của Trung tâm Nghiên cứu Pew năm 2024 cho thấy 64% người Mỹ nghĩ rằng mạng xã hội đã có tác động tiêu cực hơn là tích cực đối với Hoa Kỳ, với 78% cho rằng các công ty truyền thông xã hội có quá nhiều quyền lực và ảnh hưởng đến nền chính trị ngày nay và 83% cho rằng các nền tảng này có khả năng hoặc rất có thể cố tình kiểm duyệt các quan điểm chính trị mà họ không đồng ý. Sự chán ghét đối với các nền tảng truyền thông xã hội là một trong số ít vấn đề đoàn kết người Mỹ.
Nhìn lại tiến trình thử nghiệm mạng xã hội trong 20 năm qua, có vẻ như chúng ta sẽ không thể tránh khỏi kết cục như hiện tại. Tất cả các bạn đều biết câu chuyện. Một số công ty công nghệ lớn ban đầu đã thu hút sự chú ý và quan trọng nhất là dữ liệu người dùng. Mặc dù ban đầu người ta hy vọng rằng dữ liệu sẽ được công khai nhưng các công ty đã nhanh chóng đảo ngược tiến trình và tắt quyền truy cập sau khi sử dụng dữ liệu để xây dựng các hiệu ứng mạng không thể phá vỡ. Điều này về cơ bản đã dẫn đến tình trạng hiện tại, nơi có ít hơn chục công ty truyền thông xã hội công nghệ lớn tồn tại giống như những vương quốc phong kiến nhỏ trong tình trạng độc quyền nhóm, không có động cơ để thay đổi vì hiện trạng cực kỳ có lợi. Nó đóng cửa và phản cạnh tranh.
Nhìn vào tiến độ hiện tại của các thử nghiệm AI, tôi có cảm giác như đang xem đi xem lại cùng một bộ phim, nhưng lần này nó phức tạp hơn nhiều. Một số công ty công nghệ lớn đã tích lũy GPU và dữ liệu để xây dựng các mô hình AI cơ bản và chặn quyền truy cập vào các mô hình đó. Những người mới tham gia (không huy động được hàng tỷ đô la) không còn có thể xây dựng các phiên bản cạnh tranh vì rào cản gia nhập quá cao - chi phí tính toán cho việc đào tạo trước một mô hình cơ sở là hàng tỷ đô la và từ phương tiện truyền thông xã hội các công ty được hưởng lợi từ đợt bùng nổ công nghệ vừa qua đang sử dụng quyền kiểm soát dữ liệu người dùng độc quyền của họ để xây dựng các mô hình mà các đối thủ không thể làm được. Chúng tôi hoàn toàn tham gia vào việc tái tạo AI những gì chúng tôi đã làm trên mạng xã hội: đóng cửa và phản cạnh tranh. Nếu chúng ta tiếp tục đi theo con đường AI khép kín này, một số công ty công nghệ sẽ có quyền kiểm soát không hạn chế đối với việc tiếp cận thông tin và cơ hội.
AI nguồn mở và “Vấn đề tài nguyên”
Nếu chúng ta không muốn có một thế giới AI khép kín, thì các lựa chọn thay thế của chúng ta là gì? Câu trả lời hiển nhiên là xây dựng mô hình cơ sở như một dự án phần mềm nguồn mở. Chúng tôi có vô số ví dụ về các dự án nguồn mở xây dựng phần mềm nền tảng mà chúng tôi sử dụng hàng ngày. Nếu Linux chỉ ra rằng thứ gì đó cơ bản như hệ điều hành có thể được xây dựng bằng nguồn mở, thì LLM tạo ra sự khác biệt gì?
Thật không may, các mô hình AI cơ bản có những hạn chế khiến chúng khác biệt với phần mềm truyền thống, điều này cản trở nghiêm trọng đến khả năng tồn tại của chúng như các dự án phần mềm nguồn mở truyền thống. Cụ thể, bản thân các mô hìnhAI cơ bản yêu cầu tài nguyên điện toán và dữ liệu vượt quá khả năng của bất kỳ cá nhân nào. Kết quả cuối cùng là, không giống như các dự án phần mềm nguồn mở truyền thống dựa vào việc mọi người đóng góp thời gian của họ (vốn đã là một vấn đề đầy thách thức), AI nguồn mở cũng yêu cầu mọi người đóng góp tài nguyên dưới dạng máy tính và dữ liệu. Đây là "vấn đề tài nguyên" của AI nguồn mở .
Để hiểu rõ hơn về vấn đề tài nguyên, chúng ta hãy xem mô hình LLaMa của Meta. Meta khác với các đối thủ cạnh tranh (OpenAI, Google, v.v.) ở chỗ nó không ẩn mô hình đằng sau API trả phí mà thay vào đó, cung cấp công khai trọng lượng của LLaMa cho bất kỳ ai sử dụng miễn phí (với một số hạn chế). Các trọng số này thể hiện những gì mô hình đã học được từ Meta trong quá trình đào tạo và được yêu cầu để chạy mô hình. Khi có trọng số, bất kỳ ai cũng có thể tinh chỉnh mô hình hoặc sử dụng đầu ra của mô hình làm đầu vào cho mô hình mới.
Mặc dù Meta xứng đáng được ghi nhận vì đã xuất bản LLaMa nhưng nó không phải là một dự án phần mềm nguồn mở thực sự. Meta đào tạo mô hình một cách riêng tư bằng cách sử dụng các tính toán, dữ liệu và quyết định của riêng mình, đồng thời đơn phương quyết định thời điểm cung cấp mô hình cho thế giới. Meta không mời các nhà nghiên cứu/nhà phát triển độc lập tham gia vào cộng đồng vì các thành viên cộng đồng riêng lẻ không đủ khả năng tài nguyên dữ liệu hoặc tính toán cần thiết để đào tạo hoặc đào tạo lại các mô hình - hàng chục nghìn GPU bộ nhớ cao, trung tâm dữ liệu để chứa chúng, cơ sở hạ tầng làm mát khổng lồ và hàng nghìn tỷ mã thông báo dữ liệu đào tạo. Như đã nêu trong báo cáo Chỉ số AI năm 2024 của Đại học Stanford, “Chi phí đào tạo ngày càng tăng đã loại trừ một cách hiệu quả các trường đại học (các trung tâm nghiên cứu AI truyền thống) khỏi việc phát triển các mô hình nền tảng tiên tiến của riêng họ.” GPT-4 là 100 triệu USD và có thể không bao gồm chi phí vốn; chi phí vốn của Meta tăng 2,1 tỷ USD so với cùng kỳ năm ngoái (quý 2 năm 2024 so với quý 2 năm 2023), chủ yếu từ đào tạo và huấn luyện AI Đầu tư máy chủ, trung tâm dữ liệu và hạ tầng mạng gắn với mô hình. Do đó, mặc dù những người đóng góp cho cộng đồng LLaMa có thể có khả năng kỹ thuật để đóng góp và lặp lại kiến trúc mô hình cơ bản nhưng họ vẫn thiếu phương tiện để làm điều đó.
Tóm lại, không giống như các dự án phần mềm nguồn mở truyền thống chỉ yêu cầu người đóng góp thời gian, người đóng góp cho các dự án AI nguồn mở được yêu cầu đóng góp thời gian và chi phí đáng kể dưới dạng tính toán và dữ liệu. Việc dựa vào thiện chí và tình nguyện để thúc đẩy đủ các bên cung cấp những nguồn lực này là không thực tế. Họ cần có thêm động lực. Có lẽ ví dụ phản biện tốt nhất về đức tính thiện chí và tình nguyện trong việc phát triển AI nguồn mở là sự thành công của LLM Nguồn mở Tham số 176B, có sự tham gia của 1.000 nhà nghiên cứu tình nguyện từ hơn 70 quốc gia và hơn 250 tổ chức. Mặc dù đây chắc chắn là một thành tích ấn tượng (một thành tích mà tôi hoàn toàn ủng hộ), nhưng việc điều phối một đợt đào tạo duy nhất đã mất một năm và nhận được 3 triệu euro tài trợ từ một cơ quan nghiên cứu của Pháp (và chi phí đó không bao gồm kinh phí đầu tư vốn cho một siêu máy tính để đào tạo mô hình, một trong số đó đã có sẵn cho một tổ chức của Pháp). Quá trình điều phối và dựa vào các khoản tài trợ mới để lặp lại BLOOM quá rườm rà và quan liêu để phù hợp với tốc độ của các phòng thí nghiệm công nghệ lớn. Mặc dù đã hơn hai năm kể từ khi BLOOM ra mắt nhưng tôi không biết liệu tập thể có sản xuất mẫu nào tiếp theo hay không.
Để biến AI nguồn mở thành hiện thực, chúng ta cần khuyến khích các nhà cung cấp tài nguyên đóng góp tính toán và dữ liệu của họ mà không yêu cầu những người đóng góp nguồn mở phải chịu chi phí.
Tại sao Crypto có thể giải quyết vấn đề tài nguyên của AI nguồn mở
Bước đột phá của Crypto là sử dụng quyền sở hữu để thực hiện các dự án phần mềm nguồn mở với chi phí tài nguyên cao. Tiền điện tử giải quyết vấn đề tài nguyên vốn có trong AI nguồn mở bằng cách khuyến khích các nhà cung cấp tài nguyên đầu cơ có tiềm năng phát triển mạng, thay vì yêu cầu những người đóng góp nguồn mở phải trả chi phí trả trước để cung cấp các tài nguyên này.
Để chứng minh điều này, đừng tìm đâu xa ngoài dự án tiền điện tử Bitcoin ban đầu. Bitcoin là một dự án phần mềm nguồn mở; mã chạy nó hoàn toàn mở và tồn tại kể từ ngày dự án bắt đầu. Nhưng bản thân mã không phải là thứ nước sốt bí mật; việc tải xuống và chạy phần mềm nút Bitcoin để tạo ra một chuỗi khối chỉ tồn tại trên máy tính cục bộ của bạn không có nhiều tác dụng. Phần mềm chỉ hữu ích khi tính toán số lượng khối được khai thác đủ lớn để vượt quá khả năng tính toán của bất kỳ người đóng góp nào. Chỉ bằng cách này, giá trị gia tăng của phần mềm mới có thể được hiện thực hóa: duy trì một sổ cái mà không ai kiểm soát. Giống như AI nguồn mở của Foundation, Bitcoin đại diện cho một dự án phần mềm nguồn mở đòi hỏi các nguồn lực vượt quá khả năng của bất kỳ người đóng góp nào. Họ có thể cần điện toán này vì nhiều lý do khác nhau — Bitcoin để giúp mạng chống giả mạo và Foundation AI để lặp lại các mô hình — nhưng điểm rộng hơn là cả hai đều yêu cầu tài nguyên vượt quá nhu cầu của bất kỳ người đóng góp nào để hoạt động như một phần mềm nguồn mở khả thi dự án.
Thủ thuật kỳ diệu mà Bitcoin, hay bất kỳ mạng tiền điện tử nào, sử dụng để khuyến khích người tham gia đóng góp tài nguyên cho các dự án phần mềm nguồn mở là cung cấp quyền sở hữu mạng dưới dạng mã thông báo. Như Jesse đã viết trong bài báo thành lập Variant vào năm 2020, quyền sở hữu khuyến khích các nhà cung cấp tài nguyên đóng góp tài nguyên cho dự án để đổi lấy tiềm năng phát triển của mạng. Điều này tương tự như cách sử dụng vốn lao động để thành lập một công ty non trẻ - bằng cách trả lương cho những nhân viên đầu tiên (chẳng hạn như người sáng lập) chủ yếu thông qua quyền sở hữu doanh nghiệp, công ty khởi nghiệp có thể khắc phục các vấn đề khi khởi nghiệp bằng cách tiếp cận lực lượng lao động mà lẽ ra không thể chấp nhận được. Tiền điện tử mở rộng khái niệm về vốn công sức lao động cho các nhà cung cấp tài nguyên, không chỉ những người cống hiến thời gian của họ. Do đó, Variant tập trung đầu tư vào các dự án tận dụng quyền sở hữu để xây dựng hiệu ứng mạng, chẳng hạn như Uniswap, Morpho và World.
Nếu chúng ta muốn biến AI nguồn mở thành hiện thực thì quyền sở hữu thông qua tiền điện tử là giải pháp cho các vấn đề tài nguyên mà nó gặp phải. Các nhà nghiên cứu được tự do đóng góp ý tưởng thiết kế mô hình của họ cho các dự án nguồn mở vì các nguồn lực cần thiết để triển khai ý tưởng của họ sẽ được cung cấp bởi các nhà cung cấp máy tính và dữ liệu để đổi lấy quyền sở hữu dự án của họ, thay vì yêu cầu các nhà nghiên cứu này phải trả những khoản phí cắt cổ Chi phí trả trước . Quyền sở hữu có thể có nhiều hình thức khác nhau trong AI nguồn mở, nhưng điều tôi hào hứng nhất là quyền sở hữu chính các mô hình, giống như cách tiếp cận do Pluralis đề xuất.
Pluralis gọi cách tiếp cận này là mô hình giao thức, trong đó nhà cung cấp điện toán có thể đóng góp tài nguyên điện toán để đào tạo một mô hình nguồn mở cụ thể và giành quyền sở hữu doanh thu suy luận trong tương lai của mô hình đó. Vì quyền sở hữu thuộc về một mô hình cụ thể và giá trị quyền sở hữu dựa trên doanh thu suy luận nên nhà cung cấp máy tính có động cơ chọn mô hình tốt nhất thay vì gian lận trong quá trình đào tạo (vì việc cung cấp hoạt động đào tạo vô ích sẽ làm giảm giá trị dự kiến của doanh thu suy luận trong tương lai) . Sau đó, câu hỏi sẽ trở thành: làm cách nào để thực thi quyền sở hữu trên Pluralis nếu trọng số cần được gửi đến nhà cung cấp máy tính để đào tạo? Câu trả lời là tính song song của mô hình được sử dụng để phân phối các phân đoạn mô hình giữa các công nhân, cho phép khai thác một thuộc tính chính của mạng nơ-ron: có thể đóng góp vào việc huấn luyện một mô hình lớn hơn trong khi chỉ nhìn thấy một phần nhỏ trong tổng trọng số, từ đó đảm bảo rằng toàn bộ tập hợp các trọng số vẫn không thể giải nén được. Và vì có nhiều mô hình khác nhau được huấn luyện trên Pluralis nên trình huấn luyện sẽ có nhiều bộ trọng số khác nhau, khiến việc tạo lại mô hình trở nên cực kỳ khó khăn. Đây là khái niệm cốt lõi của các mô hình giao thức: chúng có thể huấn luyện và sử dụng được nhưng không thể trích xuất khỏi giao thức (không cần sử dụng nhiều sức mạnh tính toán hơn mức cần thiết để huấn luyện mô hình từ đầu). Điều này giải quyết mối lo ngại thường được đưa ra bởi những người chỉ trích AI nguồn mở, cụ thể là các đối thủ cạnh tranh AI đóng sẽ chiếm đoạt thành quả lao động của các dự án mở.
quan điểm về lý do tại sao AI đóng lại kém. Nhưng trong một thế giới mà trải nghiệm trực tuyến của chúng ta mang tính định mệnh, tôi e rằng điều này có thể chẳng có ý nghĩa gì đối với hầu hết độc giả. Vì vậy, cuối cùng tôi muốn đưa ra hai lý do rằng AI nguồn mở được hỗ trợ bởi tiền điện tử sẽ thực sự dẫn đến trí tuệ nhân tạo tốt hơn.
Trước hết, sự kết hợp giữa Tiền điện tử và AI nguồn mở sẽ cho phép chúng ta đạt đến cấp độ tiếp theo của các mô hình cơ bản vì nó sẽ phối hợp nhiều tài nguyên hơn AI đóng. Nghiên cứu hiện tại của chúng tôi cho thấy rằng nhiều tài nguyên hơn ở dạng điện toán và dữ liệu có nghĩa là các mô hình tốt hơn, đó là lý do tại sao các mô hình cơ sở thường ngày càng lớn hơn. Bitcoin cho chúng ta thấy phần mềm nguồn mở cộng với mật mã có thể mở khóa về mặt sức mạnh tính toán. Đây là mạng điện toán lớn nhất và mạnh nhất trên thế giới, có quy mô lớn hơn đám mây của các công ty công nghệ lớn. Mã hóa biến cạnh tranh biệt lập thành cạnh tranh hợp tác. Các nhà cung cấp tài nguyên được khuyến khích đóng góp tài nguyên của họ để giải quyết một vấn đề tập thể thay vì tích trữ tài nguyên của họ để giải quyết vấn đề đó một cách riêng lẻ (và dư thừa). AI nguồn mở sử dụng mã hóa sẽ có thể tận dụng dữ liệu và tính toán chung của thế giới để xây dựng kích thước mô hình vượt xa những gì có thể với AI đóng. Các công ty như Hyperbolic đã chứng minh sức mạnh của việc tận dụng tài nguyên máy tính tập thể, cho phép mọi người thuê GPU với giá thấp hơn trên thị trường mở của họ.
Thứ hai, việc kết hợp Tiền điện tử và AI nguồn mở sẽ thúc đẩy nhiều đổi mới hơn. Điều này là do, nếu chúng ta có thể khắc phục các vấn đề về tài nguyên, chúng ta có thể quay trở lại bản chất nguồn mở có tính lặp lại và đổi mới cao của nghiên cứu máy học. Trước khi LLM cơ bản được giới thiệu gần đây, các nhà nghiên cứu máy học đã công khai phát hành các mô hình và bản thiết kế của họ để nhân rộng chúng trong nhiều thập kỷ. Các mô hình này thường sử dụng các tập dữ liệu mở hạn chế hơn và có các yêu cầu tính toán có thể quản lý được, nghĩa là bất kỳ ai cũng có thể lặp lại trên chúng. Chính nhờ sự lặp lại này mà chúng tôi đã đạt được tiến bộ trong mô hình hóa trình tự, chẳng hạn như RNN, LSTM và cơ chế chú ý, giúp tạo ra kiến trúc mô hình “Transformer” mà LLM cơ sở hiện tại dựa vào. Nhưng tất cả đã thay đổi với sự ra mắt của GPT-3 (đảo ngược xu hướng nguồn mở GPT-2) và thành công vang dội của ChatGPT. Đó là bởi vì OpenAI đã chứng minh rằng nếu bạn đưa đủ tính toán và dữ liệu vào các mô hình lớn, bạn có thể xây dựng các LLM dường như hiểu được ngôn ngữ con người. Điều này tạo ra các vấn đề về tài nguyên khiến nghiên cứu hàn lâm không thể trả được giá cao và khiến các phòng thí nghiệm của các công ty công nghệ lớn ngừng công bố rộng rãi kiến trúc mô hình của họ để duy trì lợi thế cạnh tranh. Tình trạng chủ yếu dựa vào các phòng thí nghiệm riêng lẻ hiện nay sẽ hạn chế khả năng của chúng ta trong việc vượt qua ranh giới của công nghệ tiên tiến. AI nguồn mở được kích hoạt bằng mật mã sẽ có nghĩa là các nhà nghiên cứu một lần nữa sẽ có thể tiếp tục quá trình lặp lại này trên các mô hình tiên tiến để khám phá “máy biến áp tiếp theo”.
Alex
Brian
Kikyo