NVIDIA의 AI 칩: 기본 소프트웨어 스택의 30배 향상된 성능 재설계

출처: InfoQ

북경 시간으로 새벽 4시, 바다 건너 캘리포니아 새너제이 산호세 컨벤션 센터에서는 엔비디아의 기술 축제라 불리는 GTC 2024 컨퍼런스가 한창 진행 중이었습니다. 엔비디아 2024가 화려하게 시작되자, 트레이드마크인 가죽 재킷을 입은 억만장자 대부 웡이 중앙 무대에 올라 H100과 A100에 이어 '핵폭탄' 슈퍼칩 시리즈를 차분하게 공개했습니다.

올해 GTC는 지난 한 해 동안 엔비디아가 AI 분야에서 거둔 재정적 성공으로 인해 주목할 만한 행사였습니다. 볼타 V100 GPU 시리즈부터 최신 암페어 A100 및 호퍼 H100 칩까지, 엔비디아는 꾸준히 AI 칩의 왕좌를 지키고 있습니다.

1. GPU 제품군에 새 식구가 생겼다, 새로운 블랙웰 아키텍처 칩이 돌풍을 일으키다

올해 GTC 컨퍼런스가 시작되기 전부터 젠슨 황이 GTC 2024에서 새로운 GPU 제품군을 공개할 것이라는 루머가 있었고, 실제로 GTC 2024에서 블랙웰 아키텍처 칩인 B200과 GB200이 발표되었습니다. 예상대로 블랙웰 아키텍처를 사용하는 B200과 GB200 시리즈 칩이 출시되었습니다.

NVIDIA에 따르면, 블랙웰 제품군은 지금까지 출시된 AI 칩 중 가장 강력한 제품군입니다.

라오 황에 따르면, B200은 2,080억 개의 트랜지스터(H100/H200의 800억 개에 비해)를 탑재하고, TSMC의 4NP 공정으로 제작되었으며, 최대 10조 개의 파라미터로 구성된 AI 모델을 지원할 수 있는 반면, OpenAI의 GPT-3는 175억 개의 파라미터로 구성되어 있습니다. 또한 단일 GPU에서 20페타플롭의 AI 성능을 제공하며, 단일 H100은 최대 4페타플롭의 AI 연산을 수행할 수 있습니다.

그러나 블랙웰 B200은 전통적인 의미의 단일 GPU가 아니라, 하나의 동일한 칩처럼 작동하도록 10TB/s NV-HBI(Nvidia 고대역폭 인터페이스) 링크를 통해 연결된 두 개의 긴밀하게 결합된 칩으로 구성되어 있다는 점에 주목할 필요가 있습니다.

수학자 데이비드 해롤드 블랙웰의 이름을 딴 이 GPU 플랫폼은 2년 전 출시된 엔비디아의 호퍼 아키텍처의 뒤를 잇는 것으로, 이를 기반으로 한 일련의 제품이 엔비디아의 비즈니스와 주가를 급등시켰습니다.

이 아키텍처는 100% 시스템 내 자체 테스트 RAS 서비스와 완전한 성능 암호화를 통해 안전한 AI를 제공함으로써 전송 중 데이터뿐만 아니라 저장 및 연산 중 데이터도 안전하게 보호하여 AI 보안에 또 다른 중요한 진전을 이룹니다.

블랙웰은 두 개의 B200 블랙웰 GPU를 하나의 그레이스 CPU에 연결하는 엔비디아의 GB200 그레이스 블랙웰 슈퍼칩에 통합될 예정이며, 엔비디아는 가격을 공개하지 않았습니다.

새로운 칩은 올해 말 출시될 예정입니다. AWS, 델 테크놀로지스, 구글, 메타, 마이크로소프트, 오픈AI, 테슬라가 블랙웰 GPU를 사용할 계획이라고 NVIDIA는 밝혔습니다.

이미지 src="https://img.jinse.cn/7194998_image3.png" title="7194998" alt=" 534d5a2c919bb3f95684ebab774ae0a9">

"제너레이티브 AI는 우리 시대를 정의하는 기술"이라고 라오는 프레젠테이션에서 말했습니다. "블랙웰 GPU는 이 새로운 산업 혁명을 주도할 엔진입니다. 세계에서 가장 역동적인 기업들과 협력하여 모든 산업에서 AI의 잠재력을 실현할 것"이라고 말했습니다.

또한 엔비디아는 1,440 페타플롭(1.4 엑사플롭)의 추론 성능을 갖춘 36개의 GB200 그레이스 블랙웰 슈퍼칩을 포함하고 5,000개의 개별 케이블로 구성된 약 2마일의 케이블로 구성된 GB200 NVL72 수냉식 랙 시스템도 공개했습니다.

NVIDIA는 GB200 NVL72가 추론에 사용되는 동일한 수의 H100 텐서 코어 그래픽 처리 장치에 비해 최대 30배의 성능 향상을 제공한다고 말합니다. 또한 이 시스템은 비용과 전력 소비를 최대 25배까지 줄여줍니다.

GB200 NVL72

예를 들어 1조 8천억 개의 파라미터 모델을 훈련하는 데 8,000개의 Hopper GPU와 15메가와트의 전력이 필요했던 과거가 있었습니다. 오늘날에는 2,000개의 블랙웰 GPU만 있으면 4메가와트의 전력으로 이를 수행할 수 있습니다.

1750억 개의 파라미터가 있는 GPT-3 벤치마크에서 NVIDIA는 GB200이 H100보다 7배 빠른 성능과 4배 빠른 트레이닝 속도를 보인다고 말합니다.

또한 엔비디아는 단일 서버 노드에 8개의 B200 GPU와 x86 CPU(2개 가능)를 사용하는 것을 기반으로 하는 서버 마더보드 'HGX B200'도 선보일 예정이라고 밝혔다. 각 B200 GPU는 최대 1,000W까지 구성할 수 있으며, 최대 18페타플롭의 FP4 처리량을 제공하여 GB200의 GPU보다 10% 더 느립니다.

현재 기업 고객들은 HGX B200과 B200 GPU와 엔비디아의 그레이스 CPU를 결합한 GB200을 통해 B200을 이용할 수 있습니다.

2. 완전히 업그레이드된 소프트웨어 서비스

시장이 가열되면서 하드웨어와 소프트웨어 측면 모두에서 경쟁이 심화되고 있습니다. 이번 GTC에서 엔비디아는 새로운 하드웨어 혁신으로 경쟁에 대응하는 것은 물론, AI 소프트웨어 전략이 이 분야에서의 리더십을 어떻게 정의하고 향후 어떻게 발전해 나갈 것인지도 보여주었습니다.

또한 젠슨 황은 '소프트웨어가 하드웨어를 판매한다'는 새로운 전략에 발맞추고 '하드웨어가 소프트웨어를 판매한다'는 이전 전략에 작별을 고하는 의미에서 AI 소프트웨어의 구독 패키지를 강력하게 추진했습니다.

Nvidia는 모든 영역에 걸쳐 수많은 모델을 보유하고 있지만 기업이 사용하기에는 여전히 너무 어렵다고 생각합니다. 그래서 모델과 종속성을 깔끔한 패키지로 결합하여 사용자의 스택에 최적화하고 사용하기 쉬운 API에 연결한 Nvidia 추론 마이크로서비스(NIM)를 소개했습니다.

이미지 src="https://img.jinse.cn/7195001_image3.png">

NVIDIA의 설치 기반 위에서 실행되도록 패키지화 및 최적화된 사전 훈련된 모델에는 실행에 필요한 모든 소프트웨어가 포함되어 있습니다. cudA 라이브러리, API 등, 기본적으로 컨테이너화된 AI 패키지로, NV GPU에 최적화되어 있으며 간단한 API로 액세스할 수 있습니다.

"이것이 바로 앞으로 우리가 소프트웨어를 작성하는 방식입니다."라고 Old Yellow는 말합니다.

이미지 src="https://img.jinse.cn/7195002_image3.png">

올드 옐로우는 엔비디아가 칩을 만들 때 발생하는 일반적인 문제를 해결하기 위한 사내 챗봇을 만들기 위해 엔비디아 추론 마이크로서비스(NIM)를 어떻게 사용했는지 설명했습니다. "우리는 봇을 위해 세계를 디지털로 렌더링할 시뮬레이션 엔진이 필요했습니다."라고 그는 말했습니다. 이러한 "마이크로서비스"를 통해 개발자는 독점 및 맞춤형 모델을 사용하여 "공동 파일럿"을 빠르게 생성하고 배포할 수 있습니다. 이러한 '마이크로 서비스'를 통해 개발자는 독점 및 맞춤형 모델을 사용하여 '공동 파일럿' 또는 AI 비서를 신속하게 생성하고 배포할 수 있습니다.

그는 로보틱스가 AI 및 옴니버스/디지털 트윈 작업과 함께 엔비디아의 핵심 축이며, 이 모든 것이 엔비디아의 시스템을 활용하기 위해 함께 작동한다고 말했습니다.

옴니버스는 사람들이 상호 작용하고 작업하고 만들 수 있는 공유 가상 세계인 메타버스 애플리케이션을 구축하고 운영하기 위해 설계된 플랫폼으로, 옴니버스 플랫폼은 디지털 트윈과 고급 시뮬레이션을 생성할 수 있도록 지원합니다. NVIDIA의 옴니버스에 대한 비전에는 크리에이터와 기업이 공유 가상 공간에서 협업할 수 있는 메타버스의 기반 플랫폼이 되는 것이 포함됩니다. 옴니버스에서 생성된 디지털 트윈은 가상 교육, 제품 설계, 예측 유지보수 등 메타버스의 다양한 애플리케이션에 사용될 수 있습니다.

라오는 기업이 지적 재산에 대한 완전한 소유권과 통제권을 유지하면서 자체 플랫폼에서 애플리케이션을 만드는 데 사용할 수 있는 수십 개의 엔터프라이즈급 생성 AI 마이크로서비스를 출시했다고 말했습니다.

올드 옐로우는 또한 Apple Vision Pro 헤드폰에 대한 Omniverse 클라우드 스트리밍을 발표했습니다.

이미지 src="https://img.jinse.cn/7195003_image3.png">

그는 또한 엔비디아가 AI의 힘을 활용하여 인간을 위한 더 나은 코드를 생성하기 위해 전체 기본 소프트웨어 스택의 근본적인 재설계를 진지하게 고려하고 있다고 말했습니다.

옌선 황은 출시 행사에서 "오늘날의 컴퓨팅 방식은 누가 정보를 작성했는지, 누가 정보를 만들었는지 먼저 파악해야 하며, 이는 정보를 먼저 기록해야 한다는 것을 의미합니다."라고 언급했습니다.

그리고 엔비디아의 GPU는 내재된 논리가 아닌 창의적인 추론에 의존하여 관련 결과를 결정할 수 있는 가속 컴퓨팅을 위한 알고리즘 컴퓨팅의 새로운 길을 열어줍니다.

또한, NVIDIA는 또 다른 새로운 API 컬렉션인 Project GROOT를 출시하여 휴머노이드 로봇의 개발을 발전시키고자 합니다.

프로젝트 GROOT는 엔비디아가 젯슨 토르와 엔비디아 아이작으로 업그레이드한 SoC로 제작 중인 휴머노이드 로봇 모델입니다. 젯슨 토르는 8비트 데이터 처리에서 800테라플롭스의 AI 성능을 제공하는 블랙웰 기반 GPU를 탑재해 자연어를 이해하고 사람의 움직임을 모방해 손재주를 배울 수 있는 로봇이라고 엔비디아는 설명합니다.

라오는 이 플랫폼으로 구동되는 로봇이 자연어를 이해하고 로봇의 움직임을 모방하여 인간의 행동을 관찰하도록 설계될 것이라고 밝혔습니다. 이를 통해 GROOT 로봇은 조정력, 손재주 및 기타 기술을 빠르게 학습하여 현실 세계를 탐색하고 적응하며 상호 작용할 수 있으며 로봇 반란으로 이어지지 않습니다.

"범용 휴머노이드 로봇을 위한 기본 모델을 구축하는 것은 오늘날 AI에서 해결할 수 있는 가장 흥미로운 문제 중 하나입니다."라고 라오 황은 말합니다. "이러한 기반 기술이 합쳐져 전 세계의 선도적인 로봇 공학자들이 인공 범용 로봇 분야에서 큰 도약을 이룰 수 있게 되었습니다."

3. 개발자를 위한 시사점

전문가들의 예측에 따르면 5년 후에는 텍스트, 이미지, 비디오, 음성 형태의 정보가 모두 실시간으로 대규모 언어 모델(LLM)에 공급될 것입니다. 그때가 되면 컴퓨터는 모든 정보 소스에 바로 접근하여 다중 모드 상호 작용을 통해 끊임없이 스스로를 개선하게 될 것입니다.

"앞으로 우리는 지속적인 학습의 시대로 접어들 것입니다. 우리는 지속적인 학습의 결실을 배포할지 여부를 결정할 수 있으며, 컴퓨터와의 상호 작용은 C++의 도움을 받지 않을 것입니다."라고 말합니다.

인간이 추론한 다음 컴퓨터에게 특정 목표를 달성하기 위한 코드를 생성하도록 요청할 수 있는 것이 바로 AI 기술의 핵심입니다. 즉, 미래에는 사람들이 C++나 파이썬이 아닌 간단한 언어로 컴퓨터와 원활하게 소통할 수 있게 될 것입니다.

"프로그래밍의 가치 자체가 조용히 쇠퇴의 역사적 변곡점을 지나고 있는 것 같습니다." 젠선 황은 AI가 이미 인간과 기술 사이의 간극을 메우고 있다고 덧붙였습니다.

"현재 약 수천만 명의 사람들이 컴퓨터 프로그래밍 지식을 활용해 직업을 얻고 수입을 얻고 있지만, 나머지 80억 명의 사람들은 그보다 훨씬 뒤처져 있습니다. 앞으로는 상황이 달라질 것입니다."

황 젠선의 견해에 따르면 영어는 가장 강력한 프로그래밍 언어가 될 것이며, 개인화된 상호작용이 기술 격차를 해소하는 데 핵심적인 요소가 될 것입니다.

제너레이티브 AI는 인간이 컴퓨터에 간단한 언어로 애플리케이션을 만들도록 지시할 수 있는 매크로 수준의 운영체제가 될 것입니다. 젠선 황은 매크로 언어 모델이 인간이 컴퓨터를 통해 자신의 영감을 현실로 구현하는 데 도움이 될 것이라고 말했습니다.

예를 들어, 인간은 이미 빅 언어에 도메인별 애플리케이션을 위한 파이썬 코드를 생성하도록 요청할 수 있으며, 모든 프롬프트는 일반 영어로 작성되어 있습니다.

"컴퓨터가 우리가 원하는 일을 하도록 하려면 어떻게 해야 할까요? 컴퓨터의 명령을 어떻게 미세 조정할 수 있을까요? 이러한 질문에 대한 답은 큐 워드 엔지니어링이며, 이는 단순한 기술이라기보다는 예술에 가깝습니다."

인간은 도메인 전문성에 집중할 수 있고, 제너레이티브 AI는 프로그래밍 기술 격차를 메울 수 있다는 뜻입니다. 젠선 황은 이러한 변화가 소프트웨어 개발 환경을 완전히 뒤흔들 것이라고 믿습니다.

전에도 젠슨 황은 빅 언어 모델을 사전 교육을 받은 영리한 대학 졸업생에 비유한 적이 있습니다. 엔비디아는 기업 고객을 효율적으로 지원하기 위해 빅 모델을 중심으로 의료 및 금융 등의 분야에서 전문성을 제공하고 있습니다.