- GPU·메모리 자원 오케스트레이션으로 추론 성능·비용 구조 개선

 

엔비디아가 GTC 2026에서 대규모 생성형·에이전틱 추론을 위한 오픈소스 소프트웨어 ‘다이나모 1.0’을 공개하며 AI 팩토리 운영 구조를 제시했다. 분산된 GPU와 메모리 자원을 통합 관리해 추론 성능과 비용 효율을 동시에 개선하는 데 초점을 맞췄다.

 

AI 추론을 위한 분산 운영 구조 설계

에이전틱 AI 확산으로 데이터센터 내 추론 요청은 규모와 유형이 동시에 증가하고 있다. 다이나모는 이러한 환경에서 GPU와 메모리 자원을 유기적으로 조율하는 분산 운영 계층으로 설계됐다. 클러스터 전반의 리소스를 통합 관리해 복잡한 추론 워크로드를 안정적으로 처리할 수 있다.

 

GPU 자원 활용 최적화로 성능 최대 7배 향상

다이나모는 추론 작업을 여러 GPU에 분산 배치하고 메모리 사용을 효율적으로 관리한다. 필요에 따라 데이터를 저비용 스토리지로 이동시키고, 요청 특성에 맞춰 적절한 GPU로 라우팅하는 구조를 적용했다. 엔비디아 블랙웰 기준 최대 7배 수준의 추론 성능 향상을 확인했다.

 

오픈소스 프레임워크와 네이티브 통합 확대

텐서RT-LLM 최적화 기능은 랭체인, LMCache, SGLang, vLLM 등 주요 프레임워크에 통합됐다. 메모리 관리와 데이터 이동 기능은 모듈 형태로 제공돼 다양한 환경에서 확장 적용이 가능하다. 개발자는 기존 오픈소스 생태계를 유지하면서 성능 최적화를 적용할 수 있다.

 

클라우드부터 엔터프라이즈까지 채택 확대

AWS, 마이크로소프트 애저, 구글 클라우드, OCI 등 주요 클라우드 사업자가 다이나모 기반 추론 플랫폼을 도입하고 있다. 코어위브, 네비우스, 투게더 AI 등 인프라 기업과 퍼플렉시티, 커서 같은 AI 기업도 해당 구조를 적용해 서비스 성능을 개선하고 있다. 대규모 프로덕션 환경에서 추론 운영 방식이 빠르게 표준화되는 상황이다.

 

엔비디아 젠슨 황 CEO는 “추론은 모든 AI 애플리케이션을 구동하는 핵심 요소”라며 “다이나모는 AI 팩토리를 위한 운영 계층으로 GPU 자원을 효율적으로 활용할 수 있도록 설계됐다”고 설명했다.

 

코어위브 첸 골드버그 수석 부사장은 “대규모 AI 배포 환경에서는 안정성과 오케스트레이션 능력이 핵심”이라며 “다이나모를 통해 복잡한 워크로드를 안정적으로 운영할 수 있는 기반을 확보했다”고 언급했다.

 

네비우스 다닐라 슈탄 CTO는 “AI 추론 성능은 하드웨어뿐 아니라 이를 제어하는 소프트웨어에 의해 결정된다”며 “엔비디아 소프트웨어 스택은 예측 가능한 성능과 빠른 배포를 가능하게 한다”고 덧붙였다.

 

#엔비디아 #GTC2026 #다이나모 #AI추론 #TensorRT #AgenticAI #AI인프라 #GPU클러스터