- DSX MaxLPS로 동일 전력 예산서 와트당 성능 23% 향상…DSX 플렉스는 전력망 수요 따라 AI 워크로드 자동 조정

 

엔비디아(NVIDIA)가 AI 팩토리의 전력 사용과 AI 워크로드를 함께 관리하는 ‘DSX MaxLPS’와 ‘DSX 플렉스(DSX Flex)’를 공개했다. DSX MaxLPS는 GPU와 랙의 전력 소비를 모니터링하고 워크로드 유형에 따라 노드 간 여유 전력을 재할당해 같은 전력 예산에서 더 많은 토큰을 처리하며, DSX 플렉스는 전력망의 수요 조정 신호에 맞춰 AI 워크로드의 우선순위를 자동으로 바꾼다. 람다(Lambda)의 실제 배포 환경에서는 DSX MaxLPS를 적용해 클러스터 토큰 처리량을 24%, 와트당 성능을 23% 높였다.

 

같은 전력으로 19개 노드 가동…토큰 처리량 24% 증가

DSX MaxLPS는 GPU와 랙 단위의 전력 소비를 모니터링하고 워크로드에 따라 노드 사이의 여유 전력을 재할당한다. 학습과 추론처럼 서로 다른 전력 소비 패턴을 가진 작업을 함께 처리할 때 고정된 전력 할당에서 활용되지 않는 전력 용량을 필요한 노드에 재할당한다.

 

GPU 클라우드 기업 람다는 엔비디아 HGX B200 GPU 서버를 사용해 5개 랙, 19개 노드로 구성한 클러스터에서 DSX MaxLPS를 검증했다. 16개 노드를 최대 전력으로 가동할 때와 같은 전력 예산으로 19개 노드를 운영한 결과, 클러스터의 토큰 처리량은 초당 약 400만 개에서 500만 개로 24% 늘었고 와트당 성능은 23% 높아졌다.

 

람다 클라우드 서비스 부문 데이브 워드(Dave Ward) 사장은 “이번 개념 검증(PoC)을 통해 고정된 전력 예산의 한계를 넘어설 수 있음을 확인했다”며 “DSX MaxLPS는 동일한 설치 면적에서 컴퓨팅 밀도를 높여 활용되지 못했던 전력 용량을 실제 사용할 수 있도록 한다”고 밝혔다.

 

엔비디아는 적합한 구축 환경에서 DSX MaxLPS를 적용하면 동일한 메가와트 전력 예산에서 차세대 베라 루빈 NVL72(Vera Rubin NVL72) AI 팩토리의 GPU 용량을 최대 40%까지 늘릴 것으로 전망했다.

 

전력망 신호 따라 AI 워크로드 자동 조정

DSX 플렉스는 전력망의 부하 감축이나 수요 반응 신호를 받아 AI 워크로드의 우선순위를 조정하는 기술이다. 전력 공급에 제약이 생기면 우선순위가 높은 추론과 서비스는 계속 실행하고, 지연할 수 있는 작업은 속도를 낮추거나 일정을 변경해 AI 팩토리 전체의 전력 소비를 줄인다.

 

이러한 방식은 엔비디아 파트너사 에메랄드 AI(Emerald AI)의 그리드 오케스트레이션 플랫폼 ‘컨덕터(Conductor)’를 통해 실제 운영 환경에서 먼저 구현됐다. 지난 8월 실리콘밸리 파워(Silicon Valley Power)가 전력 수요 조정 신호를 보내자 컨덕터는 사전에 설정한 워크로드 우선순위에 따라 작업을 자동으로 제어했다. 낮은 우선순위의 작업을 중단하면서 높은 우선순위의 추론 워크로드는 계속 처리했고, AI 팩토리의 전력 소비량은 4MW에서 3MW로 줄었다.

 

이후 실리콘밸리 파워가 해당 AI 팩토리에 보낸 200건 이상의 수요 조정 신호도 모두 처리했다. 산타클라라 사례는 DSX 플렉스를 직접 구축한 사례는 아니지만, DSX 플렉스가 구현하려는 전력망 연계 방식을 상업용 규모에서 보여준 선행 사례다. 엔비디아는 향후 컨덕터를 DSX 플렉스에 통합할 예정이다.

 

에메랄드 AI 창업자 겸 CEO 바룬 시바람(Varun Sivaram)은 “수천 개의 엔비디아 GPU에 이 기술을 적용한 것이 처음이었기 때문에 모두가 숨을 죽인 채 화면을 지켜봤다”고 밝혔다.

 

96MW 베라 루빈 AI 팩토리에 DSX 플렉스 적용

DSX 플렉스의 첫 상업용 전용 구축 사례는 미국 버지니아주 매너서스에 들어서는 엔비디아 AI 팩토리 리서치 센터(NVIDIA AI Factory Research Center)가 될 예정이다. 96MW 규모의 베라 루빈 AI 팩토리에 적용하며, 앞서 두 개 대륙에서 진행한 5건의 실증을 기반으로 구축한다.

 

DSX 플렉스는 부하 감축과 수요 반응, 전력 가격 변동 등 전력망 신호를 받아 AI 워크로드의 우선순위를 조정한다. 우선순위가 높은 작업을 계속 실행하면서 전력망 상황에 맞춰 AI 팩토리의 전체 전력 소비를 줄이는 방식이다.

 

800V DC로 고밀도 AI 랙 전력 공급

엔비디아는 고밀도 가속 컴퓨팅 랙을 위한 800V DC 전력 아키텍처도 DSX 레퍼런스 설계에 적용하고 있다. AI 팩토리 규모가 커지면서 기존 저전압 방식에서 늘어나는 전력 변환 단계와 배전 제약을 줄이고, 고밀도 랙에 필요한 전력을 공급하는 데 초점을 맞췄다.

 

DSX는 전력뿐 아니라 컴퓨팅과 네트워킹, 냉각, 시설 운영을 함께 다룬다. 구축 전에는 DSX Sim으로 AI 팩토리를 모델링하고 잠재적인 병목을 파악하며, 운영 단계에서는 DSX OS를 통해 수명주기와 시스템 상태를 관리한다. DSX 레퍼런스 디자인은 컴퓨팅과 네트워킹, 스토리지, 시설 전반을 아우르는 검증된 아키텍처를 제공한다.

 

#엔비디아 #NVIDIA #DSX #DSXMaxLPS #DSXFlex #AI팩토리 #HGXB200 #베라루빈 #VeraRubin #AI인프라 #데이터센터 #전력효율 #GPU #액체냉각