- 최상위 컴퓨터 제조업체, 클라우드 서비스 제공업체, GPU 클라우드 제공업체와 협업

- 에이전틱에서 물리적 AI까지 광범위 추론 훈련 강화, 처리량 증가·응답 시간 단축·총소유비용 절감

- 새 개방형 다이나모 추론 소프트웨어 라이브러리로 추론 AI 서비스 확대

- 엔비디아 스펙트럼-X, 향상된 800G 이더넷 네트워킹으로 지연 시간·지터 크게 감소

 

엔비디아가 GTC2025에서 AI 추론을 용이하게 하는 엔비디아 블랙웰 울트라(NVIDIA Blackwell Ultra)를 발표하고, 엔비디아 블랙웰 AI 팩토리 플랫폼의 차세대 버전이라고 밝혔다.

 

엔비디아 블랙웰 울트라는 추론 중 추가적인 계산을 할당해 정확도를 개선하는 기법인 테스트 타임 스케일링(TTS) 추론과 훈련을 강화한다. 이를 통해 AI 추론이나 에이전틱 AI(Agentic AI), 물리 AI와 같은 애플리케이션을 어디서나 가속할 수 있도록 한다.

 

블랙웰 울트라는 작년 소개된 혁신 기술인 블랙웰 아키텍처를 기반으로 한다. 또한, 엔비디아 GB300 NVL72 랙 스케일 솔루션과 엔비디아 HGX B300 NVL16 시스템을 포함한다. GB300 NVL72는 엔비디아 GB200 NVL72 대비 1.5배 뛰어난 AI 성능을 제공한다. 또한, 엔비디아 호퍼(Hopper) 기반으로 구축된 AI 팩토리에 비해 블랙웰의 수익 기회를 50배 증가시킨다.

 

엔비디아 CEO 젠슨 황은 “AI는 엄청난 도약을 이룩했다. 이제 추론과 에이전틱 AI가 훨씬 더 많은 컴퓨팅 성능을 요구하고 있다. 우리는 바로 이 순간을 위해 블랙웰 울트라를 설계했다. 이 다목적 플랫폼은 사전, 사후 훈련과 추론형 AI의 추론을 더욱 쉽고 효율적으로 만들어준다”고 밝혔다.

 

엔비디아 블랙웰 울트라로 AI 추론 지원

엔비디아 GB300 NVL72는 블랙웰 울트라 GPU 72개와 Arm의 네오버스(Neoverse) 기반 엔비디아 그레이스(Grace) CPU 36개를 랙 스케일 디자인으로 연결했다. 이는 TTS용으로 구축된 거대한 단일 GPU로 작동한다. AI 모델들은 엔비디아 GB300 NVL72 플랫폼의 향상된 컴퓨팅에 액세스해 문제에 대한 다양한 솔루션을 탐색하고, 복잡한 요청을 여러 단계로 세분화해 보다 고품질의 응답을 얻을 수 있다.

 

GB300 NVL72는 또한 진화하는 워크로드를 위해 소프트웨어, 서비스, AI 전문 지식으로 성능을 최적화하는 선도적인 클라우드의 엔드 투 엔드 완전 관리형 AI 플랫폼인 엔비디아 DGX 클라우드(DGX Cloud)에서 사용 할 수 있다. DGX GB300 시스템이 탑재된 엔비디아 DGX SuperPOD은 GB300 NVL72 랙 설계를 사용해 고객에게 턴키 AI 팩토리를 제공한다.

 

엔비디아 HGX B300 NVL16은 거대 언어 모델(LLM)에서 11배 빠른 추론, 7배 향상된 컴퓨팅, 4배 많은 메모리를 제공한다. 이를 통해 AI 추론처럼 가장 복잡한 워크로드에서도 획기적인 성능을 보여준다.

 

블랙웰 울트라 플랫폼은 에이전틱 AI와 물리 AI 같은 애플리케이션에 이상적이다.

 

최적의 성능을 위한 엔비디아 스케일 아웃 인프라

고급 스케일 아웃(Scale-out) 네트워킹은 최고의 성능을 제공하며 지연 시간(Latency)과 지터(Jitter)를 줄일 수 있는 AI 인프라의 중요한 구성 요소다.

 

블랙웰 울트라 시스템은 엔비디아 스펙트럼-X 이더넷(Spectrum-X™ Ethernet)과 엔비디아 퀀텀-X800 인피니밴드(Quantum-X800 InfiniBand) 플랫폼과 원활히 통합된다. 이때 시스템 내 GPU당 800 Gb/s의 데이터 처리량을 제공하며, 엔비디아 커넥트X-8 슈퍼NIC(ConnectX-8 SuperNIC)로 연결된다. 이를 통해 동급 최고의 원격 직접 메모리 액세스 기능을 제공함으로써 AI 팩토리와 클라우드의 데이터센터가 병목 현상 없이 AI 추론 모델을 구동할 수 있도록 지원한다.

 

블랙웰 울트라 시스템에도 탑재된 엔비디아 블루필드-3(BlueField-3) DPU는 멀티 테넌트 네트워킹, GPU 컴퓨팅 탄력성, 데이터 액세스 가속화, 실시간 사이버보안 위협 탐지를 지원한다.

 

세계적 기술 선도업체, 블랙웰 울트라 도입

블랙웰 울트라 기반 제품은 2025년 하반기부터 파트너들을 통해 구매가 가능할 예정이다.

 

시스코(Cisco), 델 테크놀로지스(Dell Technologies), 휴렛 팩커드 엔터프라이즈(Hewlett Packard Enterprise, HPE), 레노버(Lenovo), 슈퍼마이크로(Supermicro) 에이브레스(Aivres), 애즈락랙(ASRock Rack), 에이수스(ASUS), 에비덴(Eviden), 폭스콘(Foxconn), 기가바이트(GIGABYTE), 인벤텍(Inventec), 페가트론(Pegatron), QCT, 위스트론(Wistron), 위윈(Wiwynn) 등의 기업이 블랙웰 울트라 기반의 다양한 제품들을 선보일 예정이다.

 

아울러 클라우드 서비스 제공업체인 아마존 웹 서비스(Amazon Web Services, AWS), 구글 클라우드(Google Cloud), 마이크로소프트 애저(Microsoft Azure), 오라클 클라우드 인프라(Oracle Cloud Infrastructure)를 비롯해, GPU 클라우드 제공업체인 코어위브(CoreWeave), 크루소(Crusoe), 람다(Lambda), 네비우스(Nebius), 엔스케일(Nscale), 요타(Yotta), YTL이 블랙웰 울트라 기반 인스턴스를 가장 앞서 선보일 예정이다.

 

AI 병목 현상 줄이는 엔비디아 소프트웨어 혁신

엔비디아 블랙웰 제품 포트폴리오 전체는 풀스택 엔비디아 AI 플랫폼의 지원을 받는다. 오픈 소스 추론 프레임워크인 엔비디아 다이나모(Dynamo)는 추론형 AI 서비스를 강화해 처리량을 늘린다. 동시에 테스트 타임 컴퓨팅(Test-Time Compute)의 확장에 가장 효과적인 솔루션을 제공해 응답 시간과 모델 서빙 비용을 절감한다.

 

엔비디아 다이나모는 추론형 AI 모델을 배포하는 AI 팩토리의 토큰 수익 창출을 극대화하고자 고안된 AI 추론 서빙 소프트웨어다. 수천 개에 달하는 GPU에서 추론 통신을 조정, 가속한 뒤 분리 서빙 방식을 활용해 거대 언어 모델의 처리와 생성 단계들을 서로 다른 GPU에 나눠둔다. 이렇게 하면 각 단계에서 특별히 요구되는 사항에 맞춰 독립적 최적화가 가능하고, GPU 리소스 활용을 최대화할 수 있다.

 

블랙웰 시스템은 엔비디아 라마 네모트론 추론(Llama Nemotron Reason) 모델이나 엔비디아 AI-Q 블루프린트(Blueprint)를 실행하는 데 적합하며, 프로덕션급 AI를 위한 엔비디아 AI 엔터프라이즈(AI Enterprise) 소프트웨어 플랫폼에서 지원된다. 엔비디아 AI 엔터프라이즈에는 엔비디아 NIM 마이크로서비스와 더불어 기업이 엔비디아 가속 클라우드, 데이터센터, 워크스테이션에 배포할 수 있는 AI 프레임워크, 라이브러리, 도구가 포함돼 있다.

 

블랙웰 플랫폼이 구축된 엔비디아의 에코시스템은 강력한 개발 도구와 엔비디아 쿠다-X(CUDA-X) 라이브러리, 6백만 명이 넘는 개발자, 수천 개의 GPU에서 성능을 확장해 나가는 4,000개 이상의 애플리케이션으로 구성돼 있다.

 

#GTC#2025#엔비디아#블랙웰울트라#AI#추론#GB300