- 레드햇 AI 팩토리에 에이전트 런타임 보안·추론·하드웨어 결합…차세대 엔비디아 인프라 출시 0일 차 지원
레드햇이 엔비디아와 협력을 확대해 ‘레드햇 AI 팩토리 위드 엔비디아(Red Hat AI Factory with NVIDIA)’에 에이전트 보안과 모델 추론, 하드웨어 지원을 결합한다. 오픈셸(OpenShell) 기반 런타임에서 에이전트의 실행을 통제하고, 모델 접근부터 추론과 GPU 오케스트레이션까지 연계해 오픈 하이브리드 클라우드 전반에서 자율형 AI 에이전트를 운영하는 환경을 제공한다.
기업이 자율형 에이전트를 업무에 적용하면서 AI 보안과 안전성도 주요 도입 요건으로 떠올랐다. 에이전트가 복잡한 IT 환경에서 추론하고 작업을 수행하려면 실행 범위를 통제하는 런타임과 모델 실행, 하드웨어 가속 기능을 함께 갖춰야 한다.
레드햇과 엔비디아는 에이전트 실행 단계의 안전성과 통제력을 확보하기 위해 오픈셸 레퍼런스 아키텍처(OpenShell Reference Architecture)를 공동 개발하고 있다. 오픈셸은 양사가 주요 기여자로 참여하는 오픈소스 에이전트 샌드박스 런타임으로, 표준화된 가드레일과 운영 가시성, 런타임 안전성을 제공한다. 레드햇은 오픈셸을 레드햇 AI와 레드햇 AI 팩토리 위드 엔비디아의 기본 플랫폼 기능으로 통합하기 위해 엔비디아 및 오픈소스 커뮤니티와 협력하고 있다.
모델 접근 제어와 추론 실행 분리
AI 에이전트 활용이 늘면서 모델 추론 수요도 증가하고 있다. 양사는 레드햇 AI 팩토리 위드 엔비디아를 기반으로 모델 접근과 추론 실행을 나눠 관리하는 레퍼런스 설계를 개발했다. 서비스형 모델(MaaS) 접근 제어와 AI 게이트웨이가 모델 사용을 관리하고, vLLM·llm-d와 엔비디아 다이나모(NVIDIA Dynamo), 엔비디아 NIM 마이크로서비스, GPU 오케스트레이션 기술이 추론 실행을 담당한다.
엔비디아 인퍼런스 허브(NVIDIA Inference Hub) 레퍼런스 설계를 기반으로 기업은 셀프서비스 방식으로 모델을 탐색하고 세분화된 접근 정책과 요청 속도 제한, 구독 기반 사용 권한을 관리한다. 접근 거버넌스와 모델 실행을 분리해 하이브리드 클라우드 전반에서 높은 처리량과 예측 가능한 낮은 지연시간을 제공하면서, 운영 통제와 할당량 관리, 비용 배분 기능도 유지한다.
레드햇 AI 팩토리는 엔비디아 네모트론 3.5 슈퍼 VL(NVIDIA Nemotron 3.5 Super VL)을 비롯한 네모트론 모델을 vLLM에서 지원한다. 레드햇 LLM 컴프레서(LLM Compressor)는 양자화 기법으로 정확도를 유지하면서 추론 지연시간을 줄인다. 네모트론 3.5 슈퍼 VL에 최적화한 FP8 및 DSpark 추측 디코딩(speculative decoding) 체크포인트에도 이를 적용했으며, 체크포인트 생성 과정은 공개한다.
베라 루빈 출시 0일 차부터 플랫폼 지원
레드햇은 엔비디아 베라 루빈(NVIDIA Vera Rubin)을 비롯한 차세대 하드웨어 아키텍처를 출시 0일 차(Day 0)부터 지원한다. 기업은 하드웨어 출시와 동시에 레드햇 AI 팩토리 위드 엔비디아를 포함한 오픈 하이브리드 클라우드 포트폴리오에서 운영체제와 플랫폼 호환성을 확보한다.
엔비디아용 레드햇 엔터프라이즈 리눅스(Red Hat Enterprise Linux for NVIDIA)는 엔비디아 베라(NVIDIA Vera) CPU도 지원한다. 베라는 장시간 추론하는 에이전트와 강화학습(RL), 데이터 기반 AI 팩토리에서 기존 프로세서 대비 2배 빠른 에이전틱 CPU 성능을 제공한다. 높은 메모리 대역폭과 샌드박스 실행 성능을 바탕으로 지속적인 추론 루프와 툴 오케스트레이션, 샌드박스 실행에 필요한 연산을 처리한다.
오픈셸과 추론 레퍼런스 설계, 에이전틱 AI 기능은 시스코(Cisco), 델(Dell), 레노버(Lenovo) 등을 포함한 레드햇 파트너 생태계를 통해 제공한다.
레드햇 AI 사업부 조 페르난데스(Joe Fernandes) 부사장은 “자율형 에이전트를 확장하려면 신뢰와 안전성, 원활한 인프라 통합이 뒷받침돼야 한다”며 “레드햇은 오픈셸과 같은 오픈소스 커뮤니티에서 엔비디아와의 협력을 강화하고, 최적화된 추론 아키텍처와 출시 당일 하드웨어 지원을 하고 있다”고 밝혔다.
엔비디아 엔터프라이즈 소프트웨어 부문 존 파넬리(John Fanelli) 부사장은 “에이전트가 스스로 자신의 행동 범위를 정해서는 안 된다. 이러한 통제는 에이전트 외부의 런타임과 기반 인프라에서 구현돼야 한다”며 “엔비디아는 레드햇과의 협력을 확대해 안전한 에이전트 런타임과 거버넌스가 적용된 추론, 심층적인 하드웨어 지원을 결합했다”고 설명했다.
#레드햇 #엔비디아 #RedHatAIFactory #에이전틱AI #오픈셸 #OpenShell #VeraRubin #vLLM #하이브리드클라우드
