Đệ tử a16z Kuzco Hướng dẫn thực hành 2: Từ chiến đấu cá nhân đến triển khai cụm

Tác giả: J1N, Techub News

Giới thiệu: Epoch One to Two

Kuzco  là mạng khai thác sức mạnh điện toán chuyên phục vụ các mô hình ngôn ngữ lớn LLM. Năm nay, nó đã được chọn vào Crypto Startup do a16z ra mắt tại New York vào ngày 9 tháng 9. Chương trình tăng tốc mùa thu Accelerator (CSX), các dự án được chương trình lựa chọn sẽ nhận được khoản đầu tư ít nhất 500.000 USD từ a16z và sẽ nhận được hướng dẫn và hỗ trợ từ nhóm vận hành a16z. Chương trình tăng tốc hiện đã kết thúc.

Vào ngày 16 tháng 11, Kuzco  đã thông báo rằng kế hoạch khuyến khích giai đoạn đầu tiên (Kỷ nguyên Một) sẽ kết thúc vào ngày 18 tháng 11 năm 2024 và mọi hoạt động sẽ bị đình chỉ. ảnh chụp nhanh dữ liệu sẽ được lưu trữ vĩnh viễn và xếp hạng điểm cuối cùng sẽ được công bố trên bảng xếp hạng mới.

Tiết lộ chính thức: Epoch One sẽ ra mắt vào ngày 6 tháng 3 năm 2024, với số lượng thiết bị cao nhất vượt quá 8.000. Mạng chạy thông số kỹ thuật 8B do Meta Llama phát hành. -3 Mô hình ngôn ngữ lớn AI có thể suy ra tổng cộng hơn 1 nghìn tỷ mã thông báo.

Và đã thông báo rằng thông tin tài chính và lộ trình phát triển dự án sẽ được công bố trong vài tuần tới, cũng như chương trình ưu đãi giai đoạn hai (Kỷ nguyên hai) sẽ được công bố vào ngày 9 tháng 12 Ra mắt cùng ngày, Epoch Two sẽ mang đến một số tính năng mới, chẳng hạn như thông lượng và độ tin cậy cao hơn của phần cứng NVIDIA, khuyến khích người dùng truy cập các thiết bị điện toán hàng đầu như A100 và H100 hỗ trợ nhiều mô hình ngôn ngữ đa phương thức và tạo hình ảnh hơn; VLM.

Vẫn còn nửa tháng chuẩn bị trước khi ra mắt Epoch Two. Bài viết này sẽ thảo luận về:

• Chia sẻ thực tiễn và kết quả khai thác cá nhân cũng như quá trình chuyển đổi từ độc lập sang cụm.

• Hiển thị toàn bộ quá trình huy động vốn thông qua nghiên cứu và thực hành cũng như chế tạo máy móc tiêu chuẩn cao.

• Thảo luận về sự phù hợp giữa cấu hình phần cứng và yêu cầu của dự án, đồng thời trả lời các câu hỏi thường gặp của nhà đầu tư.

Đánh giá Epoch One: Người lính đơn lẻ

Cấu hình < /h3>

Danh sách cấu hình của tác giả bao gồm card đồ họa dòng RTX 2060, 2070S, 3080, 4060, 4060Ti, cũng như 4 4070S và 2 Thiết bị Apple M2, M3 của Đài Loan. Các thiết bị này được phân phối trên nhiều máy chủ, máy tính xách tay và giàn khai thác chuyên dụng.

Chi phí

Điều đáng nói là những card đồ họa này vốn được tác giả sử dụng hàng năm năm theo trò chơi Những thứ bạn cần mua không được mua riêng để khai thác. Do đó, chi phí mua phần cứng không được tính vào chi phí mà chỉ tính chi phí điện thực tế của máy khai thác. Đây là bài viết đầu tiên Hướng dẫn thực hành “Đệ tử” Kuzco của “A16z”: Làm thế nào để tiến hành khai thác năng lượng máy tính AI một cách hiệu quả? 》Ví dụ về máy khai thác được lắp ráp.

Cấu hình máy khai thác:

• Mainboard: z490 (board công nghiệp sẽ được thay thế sau)

• CPU: I9 thế hệ thứ 10

• Cạc đồ họa: 2060, 2070s, 3080, 4060ti, 4070s

Máy khai thác cọ xát bằng tay

Hình bên dưới thể hiện máy khai thác vào tháng 10 và Tháng 11 Tổng điện năng tiêu thụ là 564 kilowatt giờ và số điểm kiếm được (Điểm KZO) là khoảng 600 triệu điểm. Tất cả các máy cộng lại sẽ có tổng cộng khoảng 1,1 tỷ điểm. Chi phí điện cụ thể cần được tính toán dựa trên hóa đơn tiền điện tại địa điểm của bạn. Chi phí này chỉ mang tính chất tham khảo.

< em>Ở phía bên phải của bức tranh, đã thu được tổng cộng 1 tỷ điểm

Chuẩn bị cho Kỷ nguyên thứ hai: Triển khai cụm

Dựa trên những chia sẻ của tác giả trong bài viết đầu tiên và kinh nghiệm vận hành, bảo trì phong phú khi trực tiếp tham gia lắp ráp thiết bị, gỡ lỗi và triển khai môi trường, tác giả đã thành công nhận được một số hỗ trợ tài chính nhất định và đã cung cấp tất cả những điều đó. Đầu tư lắp ráp các máy khai thác hiệu suất cao để cải thiện hơn nữa quy mô sức mạnh tính toán và hiệu quả hoạt động.

Triển khai một người lính thành cụm

Cấu hình và logic lựa chọn của các máy cao cấp

Kết hợp với kinh nghiệm thực tế của tác giả trong Epoch One, tôi đã phân tích về bo mạch chủ, CPU, card đồ họa , nguồn điện, nền tảng và Cấu hình mạng đã được tối ưu hóa hoàn toàn và kết hợp phần cứng phù hợp hơn đã được chọn, điều này không chỉ cải thiện tính ổn định, bảo mật và hiệu quả của hoạt động tổng thể mà còn chú ý hơn đến tính thanh khoản của thứ hai- thị trường thủ công trong việc lựa chọn phần cứng. Chiến lược này có thể giảm chi phí đầu tư thực tế một cách hiệu quả và cung cấp cho những người tham gia tiếp theo những lựa chọn hiệu quả về chi phí cao hơn.

Bo mạch chủ

Tác giả chọn bo mạch chủ công nghiệp thay vì phổ thông B85 chủ yếu dựa trên những cân nhắc toàn diện về hiệu suất, tính ổn định và hiệu quả chi phí.

Về hiệu suất, việc chạy mô hình Llama-3 của Kuzco yêu cầu khởi động nhiều tiến trình Docker và việc chạy song song các tiến trình này sẽ chiếm nhiều tài nguyên CPU và áp đặt hiệu suất cao. Yêu cầu về hiệu suất CPU cao hơn và CPU tương thích B85 không thể đáp ứng được nhu cầu này.

Ngoài ra, bo mạch chủ công nghiệp còn có ưu điểm rõ ràng là hoạt động ổn định lâu dài, khả năng chịu nhiệt độ cao và chế độ bảo hành của nhà sản xuất đồng thời có tính thanh khoản cao hơn. thị trường đồ cũ, vì vậy chắc chắn là sự lựa chọn tốt nhất.

Card đồ họa

Tác giả lựa chọn sử dụng 4070S làm card đồ họa chính, chủ yếu dựa trên về các điểm sau:< /p>

Ưu điểm của hiệu suất điện toán AI: So với card đồ họa dòng 30, sự cải thiện hiệu suất của card đồ họa dòng 40 trong điện toán AI lớn hơn nhiều so với sự cải thiện trong hiệu suất trò chơi. Nguyên nhân cốt lõi là sức mạnh tính toán AI chủ yếu phụ thuộc vào số lượng lõi CUDA của card đồ họa và card đồ họa dòng 40 có số lõi CUDA nhiều hơn đáng kể so với card đồ họa dòng 30.

Ưu điểm về hiệu quả năng lượng: Tác giả đã tiến hành thử nghiệm chi tiết trên nhiều loại GPU và tính toán mức tiêu thụ điện năng trung bình của từng Token

• 4060Ti (160W): 0,125 Token/W

• 3080 (330W): 0,22 Token/W

• 4090 (450W): 0,26 Token/W

• 4070S (220W): 0,38 Token/W

Đánh giá từ kết quả thử nghiệm, 4070S hoạt động tốt nhất về mặt cân bằng giữa hiệu suất và mức tiêu thụ điện năng. Tỷ lệ hiệu suất năng lượng cao hơn trực tiếp giảm chi phí điện, khiến đây trở thành lựa chọn tiết kiệm chi phí nhất.

Giá cả và tính thanh khoản trên thị trường đồ cũ: Là một card đồ họa từ trung cấp đến cao cấp, 4070S có tính thanh khoản cao và bảo toàn giá trị trong thị trường đồ cũ thị trường thủ công, tiếp tục giảm chi phí bảo trì thiết bị một cách hiệu quả đồng thời mang lại sự linh hoạt cho việc nâng cấp phần cứng tiếp theo.

CPU

Như đã đề cập ở trên, Llama-3 của Kuzco cần được khởi động khi chạy Multiple Docker chiếm một lượng tài nguyên CPU rất đáng kể, đặc biệt khi chạy trên nhiều thẻ, mức sử dụng CPU có thể lên tới 80%-90%. Vì vậy, khả năng xử lý đa lõi, đa luồng là đặc biệt quan trọng. CPU hiệu suất cao, đa luồng và ổn định không chỉ có thể hỗ trợ hiệu quả các hoạt động đa tác vụ mà còn đảm bảo tính ổn định và hiệu quả của toàn bộ quá trình khai thác.

< em>i5 thế hệ thứ 13 có thể đạt hơn 70% mức sử dụng khi chạy cạc đồ họa ở mức tối đa

Môi trường mạng

Định tuyến mềm là ô vuông trong hình

Môi trường mạng cũng rất quan trọng trong việc khai thác. Ngay cả khi cấu hình card đồ họa hiệu suất cao, nếu mạng không được tối ưu hóa, khả năng tính toán sẽ bị ảnh hưởng nghiêm trọng. Theo đo lường thực tế của tác giả, tốc độ mạng không đủ có thể khiến công suất tính toán giảm xuống 30% và các nút mạng chất lượng thấp có thể trực tiếp dẫn đến việc không thể kết nối với mạng Kuzco. Cả hai điểm này đều không được chấp nhận để khai thác. Để giải quyết những vấn đề này, tác giả áp dụng giải pháp định tuyến mềm. Phương pháp này không chỉ dễ cấu hình mà còn có thể chạy hiệu quả mà không cần can thiệp thủ công sau khi hoàn tất thiết lập. Đối với các phương pháp vận hành cụ thể, độc giả nên tham khảo thông tin liên quan theo nhu cầu của mình.

Nguồn điện

Vạn lý trường thành cổ điển 2000w Nguồn điện cho bom hạt nhân

Khi lựa chọn nguồn điện, bạn cần đặc biệt chú ý đến vấn đề tiêu thụ điện năng cao điểm, đó là lý do tại sao ngay cả Công suất tiêu thụ định mức của 7 shot 4070S chỉ là 1540W, tác giả vẫn lựa chọn sử dụng bộ nguồn kép 2000W, với tổng công suất đạt 4000W. Đây không phải là lãng phí tài nguyên mà còn chưa xét đến tính ổn định và an toàn của thiết bị.

Cạc đồ họa sẽ có mức tiêu thụ điện năng cao nhất trong quá trình hoạt động, tức là mức tiêu thụ điện năng thực tế của nó có thể đạt tới 1,5 lần hoặc thậm chí nhiều hơn mức tiêu thụ điện năng định mức tại một số thời điểm , sau đó sẽ trở lại mức bình thường. Nếu bộ nguồn không đủ mạnh để đối phó với mức đỉnh này, nó có thể kích hoạt cơ chế buộc phải tắt nguồn và thậm chí gây hư hỏng card đồ họa. Đây là mối đe dọa chết người đối với hoạt động bình thường của máy khai thác.

Hiệu suất tiêu thụ điện năng khi chạy của 4070s

Với Ví dụ, 4070S được đánh giá ở mức 220W nhưng có thể đạt cực đại trên 400W. Tổng công suất tiêu thụ đỉnh của 7 card đồ họa có thể lên tới hơn 3000W, do đó, bộ nguồn kép 2000W được cấu hình để đảm bảo cho máy hoạt động ổn định. Người dùng định cấu hình nhiều 4090 cần đặc biệt lưu ý rằng mức tiêu thụ điện năng định mức của một 4090 là 450W và mức tiêu thụ điện cao nhất có thể lên tới 770W. Trong trường hợp có nhiều thẻ, chỉ có hai bộ nguồn có thể không đáp ứng được nhu cầu. Trong trường hợp này, thường cần ba bộ nguồn để đảm bảo sự ổn định của hệ thống.

4090 hiệu suất tiêu thụ điện năng khi chạy

Bổ sung

Về cài đặt BIOS, khả năng tương thích phần cứng, quản lý từ xa và các vấn đề khác, tác giả sẽ không đi sâu vào chi tiết ở đây. Có một số lượng lớn các hướng dẫn miễn phí trên Internet để tham khảo Hầu hết các vấn đề có thể được giải quyết bằng cách làm theo các hướng dẫn. Bạn nên tiến hành xem xét và xử lý có mục tiêu theo nhu cầu và cấu hình phần cứng của riêng mình, việc này rất đơn giản và hiệu quả.

Rủi ro và lợi nhuận

Trả lời câu hỏi mà mọi người quan tâm nhất: Bao nhiêu tiền có thể được khai thác mỗi ngày? Thành thật mà nói, không có câu trả lời rõ ràng cho câu hỏi này vì rủi ro và phần thưởng luôn tồn tại cùng nhau. Tôi có thể chia sẻ quan điểm rõ ràng: Dù là vòng tròn tiền tệ hay ngành công nghiệp truyền thống, nếu bất kỳ dự án nào có thể tính toán chính xác thu nhập hàng ngày thì bạn có thể sẽ không kiếm được nhiều tiền. Trừ khi bạn có một số nguồn lực độc quyền nhất định, chẳng hạn như chi phí điện cực thấp hoặc thiết bị khai thác rất rẻ, bạn mới có thể có lợi thế về doanh thu. Tuy nhiên, không phải ai cũng có nguồn lực như vậy.

Tác giả lựa chọn chính xác thiết bị có tính thanh khoản tốt để giảm rủi ro đầu tư và áp lực chi phí. Lấy việc khai thác Kuzco làm ví dụ, chi phí chủ yếu tập trung vào chi phí khấu hao phần cứng và điện, do đó tổn thất tối đa của bạn được giới hạn ở các chi phí cố định này. Nếu việc tham gia không được thực hiện với chi phí thấp thì mọi quyết định đầu tư đều mất đi ý nghĩa. Cần nhấn mạnh rằng đặc điểm của khai thác đầu người xác định rằng không có kỳ vọng lợi nhuận rõ ràng, nhưng đây cũng chính là tiềm năng của việc khai thác đầu người.

Theo đánh giá chủ quan, đường đua này có triển vọng thị trường rất lớn: một mặt Kuzco đã nhận được sự hỗ trợ đầu tư từ a16z, mặt khác là LLM ngôn ngữ lớn; Nhu cầu về các mô hình đang mở rộng nhanh chóng. Hãy nghĩ mà xem, hầu như không ai không sử dụng LLM phải không? Các vòng cấp vốn trị giá cao cho các nền tảng như ChatGPT của OpenAI, Llama của Meta và XAI của Musk chứng minh rõ ràng tiềm năng tăng trưởng của ngành này.

Đối với người bình thường, việc trực tiếp tham gia vào ngành AI là điều không hề dễ dàng. Một mặt, ngưỡng kỹ thuật của AI cao; mặt khác, việc đào tạo các mô hình AI đòi hỏi một lượng lớn nguồn lực và kinh phí và hầu hết mọi người không thể chi trả được những chi phí như vậy. Bằng cách tham gia mạng lưới sức mạnh điện toán AI thông qua Kuzco, những người bình thường có thể dễ dàng tham gia vào lĩnh vực có tốc độ tăng trưởng cao này với chi phí có thể kiểm soát được, đóng góp vào sức mạnh tính toán AI và đồng thời kiếm được lợi nhuận.

Ngoài ra, giá Bitcoin hiện sắp vượt quá 100.000 đô la Mỹ, tăng từ 16.000 đô la Mỹ vào năm 2022 lên mức cao nhất hiện nay và có một sự thoái lui lớn đằng sau nó . rủi ro. Nếu bạn chọn mua trực tiếp token của các dự án AI, bạn cũng sẽ phải đối mặt với rủi ro biến động cao tương tự. Ngược lại, tham gia vào mạng lưới điện toán AI là một lựa chọn mạnh mẽ hơn: không chỉ chi phí được kiểm soát rõ ràng mà còn có thể bước vào đường đua tăng trưởng tốc độ cao của ngành AI với rủi ro tương đối thấp. Đây là một trong những cách thiết thực để người dân bình thường bước vào lĩnh vực AI trong môi trường hiện nay.