- LLM부터 추천 시스템·그래프 신경망까지 전 영역에서 탁월한 성능과 범용성 입증
- 라마 3.1 405B 사전 훈련에서 이전 세대 대비 2.2배 성능 향상
- 수랭식 설계, 13.4TB 메모리, 네트워킹 등 기술 혁신 구현
엔비디아가 엔비디아 블랙웰(NVIDIA Blackwell) 아키텍처 기반 AI 플랫폼으로 최신 MLPerf 훈련(MLPerf Training) 벤치마크 전 항목에서 최고 성능을 달성했다고 밝혔다.
엔비디아는 전 세계 기업들과 협력해 AI 팩토리를 구축하고 있으며, 최신 훈련, 추론 기술을 기반으로 차세대 AI 애플리케이션의 훈련과 배포 속도를 높이고 있다.
엔비디아 블랙웰 아키텍처는 이러한 새로운 애플리케이션의 고도화된 성능 요구사항을 충족하도록 설계됐다. 2018년 벤치마크가 도입된 이래 12번째로 진행된 최신 MLPerf 훈련 라운드에서, 엔비디아 AI 플랫폼은 모든 벤치마크 항목에서 최고 수준의 성능을 입증했다. 또한 가장 까다로운 거대 언어 모델(LLM) 중심 테스트인 라마 3.1 405B(Llama 3.1 405B) 사전 훈련에서 제출된 모든 결과도 엔비디아 플랫폼 위에서 실행됐다.
엔비디아 플랫폼은 유일하게 MLPerf 훈련 v5.0의 모든 벤치마크 항목에 결과를 제출했다. 엔비디아는 LLM, 추천 시스템, 멀티모달 LLM, 객체 감지, 그래프 신경망을 아우르는 광범위한 AI 워크로드에서 탁월한 성능과 범용성을 입증했다.
대규모 출품에는 엔비디아 블랙웰 플랫폼으로 구동되는 두 대의 AI 슈퍼컴퓨터가 사용됐다. 이는 각각 엔비디아 GB200 NVL72 랙 스케일 시스템으로 구성된 티케(Tyche), 엔비디아 DGX B200 시스템을 기반으로 한 닉스(Nyx)이다. 또한 엔비디아는 코어위브(CoreWeave), IBM과 협력해 총 2,496개의 블랙웰 GPU와 1,248개의 엔비디아 그레이스(Grace) CPU를 사용한 GB200 NVL72 결과도 제출했다.
새로운 라마 3.1 405B 사전 훈련 벤치마크에서 블랙웰 아키텍처는 동일한 규모의 이전 세대 대비 2.2배 향상된 성능을 기록했다.
라마 2 70B LoRA 미세 조정 벤치마크에서는 블랙웰 GPU 8개가 탑재된 엔비디아 DGX B200 시스템이 이전 라운드에서 동일 GPU 수로 제출한 결과보다 2.5배 더 높은 성능을 달성했다.
이러한 성능 도약은 블랙웰 아키텍처의 기술적 진보를 잘 보여준다. 여기에는 고밀도 수랭식 랙, 랙당 13.4 테라바이트(TB)의 코히어런트 메모리, 스케일업(scale-up)을 위한 5세대 엔비디아 NV링크(NVLink)와 엔비디아 NV링크 스위치(Switch) 상호연결 기술, 그리고 스케일 아웃(scale-out)을 위한 엔비디아 퀀텀-2 인피니밴드(Quantum-2 InfiniBand) 네트워킹 등이 포함된다. 또한 엔비디아 네모 프레임워크(NeMo Framework) 소프트웨어 스택의 혁신은 에이전틱 AI 애플리케이션 실현에 핵심적인 기반이 되는 차세대 멀티모달 LLM 훈련의 기준을 높였다.
이러한 에이전틱 AI 기반 애플리케이션은 미래의 AI 팩토리에서 작동하게 되며, 이는 곧 에이전틱 AI 경제의 핵심 엔진으로 자리잡을 전망이다. 이러한 새로운 애플리케이션은 토큰과 지능 정보를 생성하며, 거의 모든 산업과 학문 분야에 걸쳐 가치를 창출할 수 있다.
엔비디아 데이터센터 플랫폼에는 GPU, CPU, 고속 패브릭, 네트워킹은 물론 엔비디아 쿠다-X(CUDA-X) 라이브러리, 네모 프레임워크, 엔비디아 텐서RT-LLM(TensorRT-LLM), 엔비디아 다이나모(Dynamo)와 같은 방대한 소프트웨어가 포함된다. 이처럼 정밀한 하드웨어와 소프트웨어 기술 조합은 조직이 AI 모델을 더 빠르게 훈련하고 배포할 수 있게 해 가치 실현 시간을 획기적으로 단축시킨다.
이번 MLPerf 라운드에는 코어위브와 IBM 외에도 다양한 엔비디아 파트너사들이 참여했다. 에이수스(ASUS), 시스코(Cisco), 델 테크놀로지스(Dell Technologies), 기가컴퓨팅(Giga Computing), 구글 클라우드(Google Cloud), 휴렛팩커드 엔터프라이즈(Hewlett Packard Enterprise, HPE), 람다(Lambda), 레노버(Lenovo), 네비우스(Nebius), 오라클 클라우드 인프라스트럭처(Oracle Cloud Infrastructure, OCI), 퀀타 클라우드 테크놀로지(Quanta Cloud Technology), 슈퍼마이크로(Supermicro) 등이 다양한 벤치마크 결과를 제출했다.
#엔비디아#MLPerf#라마#블랙웰#
