Jen-Hsun Huang: Nvidia vượt qua Định luật Moore và hiệu suất chip tăng 1.000 lần sau 10 năm

Nguồn: AI Faner

Giám đốc điều hành Nvidia Jen-Hsun Huang cho biết hiệu suất chip AI của công ty đã được cải thiện nhanh hơn Định luật Moore - một định luật chi phối sự phát triển của công nghệ điện toán trong nhiều thập kỷ.

"Hệ thống của chúng tôi đang phát triển nhanh hơn nhiều so với Định luật Moore," Huang nói trong một cuộc phỏng vấn vào buổi sáng sau khi đọc bài phát biểu quan trọng của mình trước 10.000 khán giả tại hội nghị CES ở Las Vegas. >Định luật Moore, do người đồng sáng lập Intel, Gordon Moore đề xuất vào năm 1965, dự đoán rằng số lượng bóng bán dẫn trên một con chip sẽ tăng gấp đôi khoảng mỗi năm, do đó hiệu năng của con chip sẽ tăng gấp đôi. Dự đoán này phần lớn đã được hiện thực hóa trong những thập kỷ tiếp theo, thúc đẩy sự cải thiện nhanh chóng về sức mạnh tính toán và giảm đáng kể chi phí.

Trong khi đà phát triển của Định luật Moore đã chậm lại trong những năm gần đây, Huang cho biết chip AI của Nvidia đang phát triển với tốc độ nhanh hơn. Công ty cho biết siêu chip trung tâm dữ liệu mới nhất của họ cải thiện hiệu suất suy luận AI hơn 30 lần so với thế hệ trước.

Huang Renxun giải thích rằng bằng cách đổi mới ở tất cả các cấp độ kiến ​​trúc, chip, hệ thống, thư viện và thuật toán cùng một lúc, chúng ta có thể vượt qua những hạn chế của Định luật Moore.

Giám đốc điều hành Nvidia đưa ra tuyên bố táo bạo này vào thời điểm nhiều người đang đặt câu hỏi liệu việc phát triển AI có bị đình trệ hay không. Các phòng thí nghiệm AI hàng đầu như Google, OpenAI và Anthropic đang sử dụng chip AI của Nvidia để đào tạo và chạy các mô hình của họ. Những cải tiến về hiệu suất chip có thể dẫn đến những đột phá hơn nữa về khả năng AI.

Đây không phải là lần đầu tiên Huang Renxun nói rằng Nvidia sẽ vượt qua Định luật Moore. Ông đã đề cập trong một podcast vào tháng 11 rằng lĩnh vực AI đang trải qua quá trình phát triển giống như “Định luật Super Moore”.

Ông bác bỏ tuyên bố rằng tiến trình AI đang chậm lại và chỉ ra rằng hiện có ba quy luật phát triển AI: đào tạo trước (mô hình học tập từ dữ liệu lớn), đào tạo sau (tinh chỉnh thông qua phản hồi của con người, v.v.) và tính toán thời gian thử nghiệm (giúp AI có thêm thời gian để "suy nghĩ").

Huang Renxun nói rằng giống như Định luật Moore thúc đẩy sự phát triển của công nghệ điện toán bằng cách giảm chi phí điện toán, việc cải thiện hiệu suất suy luận của AI cũng sẽ giảm chi phí sử dụng.

Mặc dù H100 của Nvidia từng là con chip được các công ty công nghệ đào tạo mô hình AI lựa chọn, khi các công ty này chuyển trọng tâm sang giai đoạn suy luận, một số người bắt đầu đặt câu hỏi liệu những con chip đắt tiền của Nvidia có thể tiếp tục duy trì lợi thế của mình hay không.

Hiện tại, việc chạy các mô hình AI sử dụng tính toán trong thời gian thử nghiệm rất tốn kém. Lấy ví dụ: mô hình o3 của OpenAI, mô hình này đạt được hiệu suất ngang bằng con người trong các bài kiểm tra trí thông minh tổng quát, nhưng có giá gần 20 USD cho mỗi nhiệm vụ, trong khi đăng ký ChatGPT Plus có giá 20 USD một tháng.

Trong bài phát biểu quan trọng hôm thứ Hai, Huang đã giới thiệu siêu chip trung tâm dữ liệu mới nhất GB200 NVL72. Hiệu năng suy luận AI của con chip này cao gấp 30-40 lần so với H100 bán chạy trước đó. Ông cho biết bước nhảy vọt về hiệu suất này sẽ giảm chi phí sử dụng các mô hình như OpenAI o3 vốn yêu cầu tính toán suy luận nặng nề.

Huang Renxun nhấn mạnh rằng trọng tâm của họ là cải thiện hiệu suất chip, vì về lâu dài, hiệu suất mạnh hơn đồng nghĩa với việc giá thấp hơn.

Ông cho rằng việc nâng cao sức mạnh tính toán là giải pháp trực tiếp giải quyết các vấn đề về hiệu năng và chi phí của tính toán trong quá trình thử nghiệm. Về lâu dài, các mô hình suy luận AI cũng có thể cung cấp dữ liệu tốt hơn cho các giai đoạn trước và sau đào tạo.

Giá của các mô hình AI quả thực đã giảm đáng kể trong năm qua nhờ những đột phá về điện toán từ các công ty phần cứng như Nvidia. Mặc dù các mô hình suy luận mới nhất của OpenAI rất đắt tiền nhưng Huang kỳ vọng xu hướng giảm giá này sẽ tiếp tục.

Ông cũng cho biết Hiệu suất chip AI của Nvidia ngày nay cao hơn 1.000 lần so với 10 năm trước, vượt xa tốc độ phát triển của Định luật Moore. Hơn nữa, đà phát triển nhanh chóng này vẫn còn Không có điểm dừng trong tầm nhìn.