- 7종 칩·5개 랙 통합 설계로 학습·추론·에이전트 전 과정 처리

 

엔비디아가 GTC 2026에서 차세대 AI 플랫폼 ‘베라 루빈’을 공개하고, AI 인프라를 랙·POD 기반 ‘AI 팩토리’ 구조로 확장한다고 밝혔다. GPU 중심 연산 구조에서 벗어나 학습과 추론, 에이전트 실행을 하나의 시스템으로 통합한 점이 핵심이다.

 

GPU 중심 구조에서 팩토리형 인프라로 이동

AI 인프라는 GPU 성능과 서버 확장 중심으로 발전해왔다. 모델 규모 확대와 에이전틱 워크로드 증가로 연산, 검증, 추론, 메모리를 동시에 처리하는 구조가 요구되고 있다. 베라 루빈은 칩 단위가 아닌 랙·POD 단위로 설계된 플랫폼이다. 베라 CPU, 루빈 GPU, NV링크 6, 커넥트X-9, 블루필드-4, 스펙트럼-6, 그록 3 LPU를 통합해 여러 랙이 하나의 시스템처럼 동작한다. 학습과 사후 학습, 테스트 시점 확장, 추론까지 전 과정을 단일 인프라에서 처리한다.

 

NVL72, 학습 효율과 비용 구조 동시 개선

NVL72 랙은 72개 GPU와 36개 CPU를 NV링크 6로 연결한 통합 시스템이다. 대규모 MoE 모델 학습을 수행하면서 GPU 수를 기존 대비 4분의 1 수준으로 줄였고, 토큰당 비용을 10분의 1 수준으로 낮췄다. 와트당 추론 처리량은 최대 10배까지 향상됐다. 인피니밴드와 이더넷을 통해 대규모 클러스터로 확장되며, 학습 시간 단축과 총소유비용 절감을 동시에 달성한다. GPU 수 증가 대신 효율 중심으로 학습 인프라를 재구성하는 구조다.

 

CPU 랙, 강화학습·검증 루프 처리

베라 CPU 랙은 256개 CPU 기반 고밀도 액체 냉각 구조로, 강화학습과 시뮬레이션, 검증 워크로드를 처리한다. GPU가 생성한 결과를 테스트하고 반복 학습하는 과정에서 활용되며, 스펙트럼-X 네트워크로 대규모 환경을 동기화한다. 모델 생성 이후 검증과 실행 단계를 처리하는 CPU 비중이 확대되며, 학습 중심 구조에서 ‘학습+검증’ 통합 구조로 전환하는 기반을 형성한다.

 

LPX, 저지연 추론 성능 확보

그록 3 LPU 기반 LPX 랙은 추론 전용 인프라다. 256개 LPU와 온칩 SRAM, 초당 640TB 대역폭을 기반으로 메가와트당 최대 35배 수준의 추론 처리량을 제공한다. GPU와 LPU가 공동으로 토큰 연산을 수행해 디코딩 속도를 높이고, 1조 파라미터·100만 토큰 컨텍스트 기반 모델에 대응한다. 대규모 모델에서 발생하는 추론 지연을 줄인다.

 

STX, KV 캐시 기반 메모리 확장 구조

블루필드-4 STX 랙은 KV 캐시 데이터를 저장·검색하는 AI 전용 스토리지 계층이다. GPU 메모리를 POD 전체로 확장하며, 도카 메모스 기반으로 추론 처리량을 최대 5배까지 높인다. 대규모 컨텍스트와 멀티턴 상호작용 환경에서 메모리 병목을 줄인다.

 

SPX, 랙 간 데이터 흐름 최적화

스펙트럼-6 SPX 이더넷은 AI 팩토리 내부의 동서 트래픽을 처리한다. 광학 모듈 통합 구조를 통해 기존 대비 최대 5배 높은 전력 효율과 10배 높은 복원력을 제공한다. 대규모 클러스터 환경에서 네트워크 병목을 줄이고 안정적인 확장성을 확보한다.

 

전력·운영까지 포함된 인프라 설계

엔비디아는 DSX 플랫폼을 통해 전력 제약 환경에서도 데이터센터 인프라 밀도를 높이는 방식을 제시했다. DSX는 동적 전력 프로비저닝을 적용해 최대 30% 추가 시스템 구축을 지원한다. AI 인프라 설계는 연산 성능 중심에서 전력과 운영 효율까지 포함하는 구조로 확장된다.

 

클라우드·AI 생태계 확산

베라 루빈 기반 인프라는 AWS, 구글 클라우드, 마이크로소프트 애저, 오라클 등을 통해 제공될 예정이다. 오픈AI, 앤트로픽, 미스트랄 등 주요 AI 기업들도 해당 플랫폼을 기반으로 대규모 모델과 에이전트 시스템을 확장할 계획이다.

 

엔비디아 젠슨 황 CEO는 “베라 루빈은 7개 칩과 5개 랙으로 구성된 통합 인프라로 AI 전 단계를 지원하며, 에이전틱 AI 전환을 본격화하는 기반”이라고 밝혔다.

 

#GTC2026 #엔비디아 #베라루빈 #AI팩토리 #NVL72 #LPU #블루필드4 #스펙트럼6 #AI인프라 #데이터센터