- 다이나모·네모·네트워킹 결합…안나푸르나 랩스·d-매트릭스 협력, 람다·핀터레스트 적용 성과 공개

 

엔비디아가 지난 15일 미국 산타클라라에서 열린 ‘AI 인프라 서밋(AI Infra Summit)’에서 베라 루빈(Vera Rubin)과 DSX MaxLPS를 비롯한 AI 팩토리 플랫폼과 파트너 협력 성과를 공개했다.

 

베라 루빈 시스템에 다이나모(Dynamo) 추론 소프트웨어와 네모(NeMo) 라이브러리, NV링크(NVLink), 스펙트럼-X 이더넷(Spectrum-X Ethernet) 등을 결합해 에이전틱 AI 워크로드를 처리하는 풀스택 AI 팩토리 플랫폼을 제공한다. DSX MaxLPS는 AI 팩토리의 전력을 관리해 메가와트당 최대 1.4배 많은 토큰 처리를 지원한다.

 

베라 루빈부터 네트워킹까지 AI 팩토리 연결

엔비디아 하이퍼스케일 및 고성능 컴퓨팅 부문 이안 벅(Ian Buck) 부사장은 AI 팩토리 효율성을 주제로 엔비디아 플랫폼과 파트너 협력 사례를 발표했다. 올해 AI 인프라 서밋 참석자는 지난해 3500명에서 8000명 이상으로 늘었다.

 

엔비디아는 에이전틱 AI 워크로드를 처리하기 위해 베라 루빈 시스템과 다이나모 추론 소프트웨어, 네모 라이브러리, 네트워킹을 하나의 AI 팩토리 플랫폼으로 제공한다. NV링크는 스케일업 컴퓨팅을 담당하고, 스펙트럼-X 이더넷과 커넥트X 슈퍼NIC(ConnectX SuperNIC)는 수천 개의 노드를 연결한다. 블루필드(BlueField)는 컨텍스트 메모리 스토리지와 인프라 보안에 활용된다.

 

안나푸르나 랩스·d-매트릭스와 메모리·추론 협력

아마존(Amazon)의 안나푸르나 랩스(Annapurna Labs)는 엔비디아와 NVHBM 맞춤형 고대역폭 메모리 기술을 개발하기 위해 협력하고 있다. d-매트릭스(d-Matrix)는 NV링크 퓨전(NVLink Fusion)을 통합해 엔비디아 베라 CPU와 자체 랩터(Raptor) XPU를 연결하고 대규모 환경에서 초저지연 추론을 처리한다.

 

파트너의 실제 적용 사례도 공개했다. 에메랄드 AI(Emerald AI)는 엔비디아, 실리콘밸리 파워(Silicon Valley Power)와 상용 AI 팩토리의 전력 사용량을 전력망 수요에 따라 조정하는 유연 부하 프로그램을 시연했다. 람다(Lambda)는 DSX MaxLPS를 적용해 와트당 성능을 23% 높였으며, 핀터레스트(Pinterest)는 엔비디아 블랙웰(Blackwell) 플랫폼과 다이나모 추론 소프트웨어를 활용해 시각적 탐색에 대화형 AI를 적용하고 있다.

 

DSX MaxLPS, 메가와트당 토큰 처리량 최대 1.4배

AI 팩토리의 규모가 커지면서 확보한 전력으로 얼마나 많은 AI 작업을 처리하느냐가 인프라 효율을 좌우한다. 엔비디아는 이를 측정하는 지표로 실제 검증된 ‘메가와트당 에이전틱 토큰’을 제시하고, 컴퓨팅과 네트워킹뿐 아니라 전력 공급까지 함께 관리하는 방식으로 AI 팩토리의 처리량을 높이고 있다.

 

DSX MaxLPS는 GPU와 랙의 전력 소비를 모니터링해 사용하지 않는 전력 용량을 필요한 워크로드에 재할당한다. 엔비디아는 이를 통해 동일한 전력 예산에서 AI 팩토리가 처리하는 토큰을 늘리며, 메가와트당 토큰 처리량을 최대 1.4배까지 높인다고 설명했다.

 

#엔비디아 #NVIDIA #AI인프라서밋 #AI팩토리 #베라루빈 #VeraRubin #DSX #DSXMaxLPS #NVLink #NVLinkFusion #NVHBM #다이나모 #네모 #스펙트럼X #블랙웰 #에이전틱AI