Jen-Hsun Huang: 10년 만에 1,000배의 칩 성능 향상으로 무어의 법칙을 뛰어넘은 NVIDIA

출처: AI 패러다임

Nvidia의 CEO 젠슨 황은 자사의 AI 칩 성능이 수십 년 동안 컴퓨팅 기술 개발을 지배했던 무어의 법칙을 앞지르는 속도로 발전하고 있다고 말했습니다.

라스베이거스에서 열린 CES에서 1만 명의 청중을 대상으로 기조연설을 한 다음 날 아침 인터뷰에서 젠슨 황은 "우리 시스템은 무어의 법칙보다 훨씬 빠르게 진화하고 있다"고 말했습니다.

1965년 인텔의 공동 창립자인 고든 무어가 만든 무어의 법칙은 칩의 트랜지스터 수가 매년 약 2배씩 증가하고, 이에 따라 칩의 성능도 2배씩 향상될 것이라는 예측입니다. 이 예측은 이후 수십 년 동안 대부분 실현되어 컴퓨팅 성능의 급격한 증가와 극적인 비용 절감을 이끌었습니다.

최근 몇 년 동안 무어의 법칙이 둔화되었지만, 젠슨 황은 엔비디아의 AI 칩은 훨씬 더 빠른 속도로 진화하고 있다고 말했습니다. 이 회사는 자사의 최신 데이터센터 슈퍼칩이 AI 추론 성능 측면에서 이전 세대보다 30배 이상 뛰어나다고 말합니다.

황 젠슨은 아키텍처, 칩, 시스템, 라이브러리, 알고리즘 등 모든 수준에서 동시에 혁신함으로써 무어의 법칙의 한계를 깰 수 있다고 설명했습니다.

이런 엔비디아 CEO의 대담한 주장은 많은 사람들이 AI 개발이 정체기에 접어든 것이 아니냐는 의문을 제기하고 있는 가운데 나온 것으로, 구글, 오픈AI, 앤트로픽 등 최고의 AI 연구소가 엔비디아의 AI 칩을 사용해 모델을 훈련하고 실행하는 만큼 칩 성능 향상이 AI 기능의 획기적인 발전으로 이어질 가능성이 높습니다.

Nvidia가 무어의 법칙을 뛰어넘고 있다는 젠슨 황의 발언은 이번이 처음이 아닙니다. 11월 팟캐스트 에피소드에서 그는 AI 분야가 "슈퍼 무어의 법칙"과 같은 발전을 경험하고 있다고 언급했습니다.

그는 AI 개발에는 사전 학습(방대한 양의 데이터에서 패턴 학습), 사후 학습(예: 인간의 피드백을 통한 미세 조정), 테스트 중 계산(AI가 '생각할' 시간을 더 많이 주는 것) 등 세 가지 법칙이 있다고 지적하며 AI가 느려지고 있다는 개념을 반박했습니다.

황 젠슨은 무어의 법칙이 연산 비용을 낮춰 컴퓨팅 기술을 발전시킨 것처럼, AI 추론의 성능을 개선하면 사용 비용이 낮아질 것이라고 말했습니다.

한때 엔비디아의 H100은 기술 기업들이 AI 모델 학습을 위해 선택한 칩이었지만, 기업들이 추론 단계에 집중하는 방향으로 전환하면서 일부에서는 엔비디아의 고가 칩이 계속 우위를 점할 수 있을지에 대해 의문을 제기하기 시작했습니다.

현재 테스트 타임 계산을 사용하는 AI 모델은 실행 비용이 많이 듭니다. 예를 들어 OpenAI의 o3 모델은 일반 지능 테스트에서 인간 수준의 성능을 달성하지만, 작업당 20달러에 가까운 비용이 드는 반면 ChatGPT Plus 구독은 한 달에 20달러에 불과합니다.

월요일 기조연설에서 젠슨 황은 이전 베스트셀러인 H100보다 30~40배 향상된 AI 추론 성능을 제공하는 최신 데이터 센터 슈퍼칩인 GB200 NVL72를 선보였습니다. 그는 이러한 성능 향상으로 추론 계산이 많이 필요한 OpenAI o3와 같은 모델의 사용 비용을 낮출 수 있을 것이라고 말했습니다.

황젠순은 장기적으로 더 나은 성능은 더 낮은 가격을 의미하기 때문에 칩 성능 향상에 초점을 맞추고 있다고 강조했습니다.

그는 컴퓨팅 성능을 높이는 것이 성능과 비용 측면에서 테스트 시점의 컴퓨팅 문제에 대한 간단한 해결책이라고 말했습니다. 장기적으로 AI 추론 모델은 학습 전 단계와 학습 후 단계에 더 나은 데이터를 제공하기도 합니다.

Nvidia와 같은 하드웨어 회사의 컴퓨팅 혁신 덕분에 AI 모델의 가격은 지난 1년 동안 급격히 하락했습니다. OpenAI의 최신 추론 모델은 가격이 비싸지만, 젠선 황은 이러한 가격 인하 추세가 계속될 것으로 예상합니다.

그는 또한 오늘날 엔비디아의 AI 칩은 10년 전보다 1,000배 더 강력해졌으며, 이는 무어의 법칙보다 훨씬 빠른 속도라며, 이러한 빠른 성장은 멈출 기미가 보이지 않는다고 말했습니다.