- EvalHub로 모델·RAG·에이전트 사전 평가…멀티테넌시·AI 에이전트 거버넌스·사용량 추적 지원

 

레드햇(Red Hat)이 ‘레드햇 AI 3.5(Red Hat AI 3.5)’를 출시하고 AI 안전성과 관측성, 멀티테넌시, 에이전트 운영 기능을 확장했다. 모델을 프로덕션 환경에 배포하기 전에 안전성을 검증하고, 추론 상태와 GPU 사용률, 모델 성능을 실시간으로 파악해 하이브리드 클라우드 전반의 AI 워크로드를 관리한다. 공유 GPU 환경에서는 테넌트별 자원 할당과 우선순위 기반 추론을 제어하고, AI 에이전트 개발과 거버넌스, 사용자별 사용량 추적까지 하나의 플랫폼에서 다룬다.

 

EvalHub로 모델·RAG·에이전트 배포 전 검증

레드햇 AI 3.5는 이벌허브(EvalHub)를 통해 모델과 검색증강생성(RAG), AI 에이전트를 배포하기 전에 안전성을 평가한다. 카탈로그에 등록된 평가 모델에는 가락(Garak) 벤치마크 점수를 기본 제공하며, 개인정보(PII) 노출과 유해성 위험 등을 평가하고 감사에 활용할 수 있는 규제 준수 보고서도 생성한다.

 

레드햇은 검증 모델 카탈로그에 구글 젬마 4와 엔비디아 네모트론 3, 알리바바 클라우드 큐원 등 20개 이상의 모델을 추가했다. 일부 모델은 툴 호출 기능 검증 여부를 별도로 표시해 에이전틱 AI에 활용할 모델을 선택할 때 참고할 수 있도록 했다.

 

관측성 대시보드는 추론 상태와 GPU 활용률, 모델·에이전트 성능을 실시간으로 보여준다. 관리자 권한이 없는 사용자도 쇼백(showback) 대시보드에서 사용자별 토큰 사용량을 확인할 수 있으며, MLflow 기반 에이전틱 트레이싱과 분산 추론 워크로드 관련 지표도 제공한다.

 

공유 GPU 자원 배분하고 테넌트별 실행 환경 격리

공유 GPU 환경에서는 네이티브 멀티테넌시와 우선순위 인식 서빙(priority-aware serving)을 적용한다. 공정 분배 GPU 스케줄링이 테넌트별 자원을 배분하고, 요청 수락 제어와 우선순위 기반 라우팅을 이용해 실시간 추론을 우선 처리하면서 남는 용량을 백그라운드 워크로드에 할당한다.

 

더 강한 격리가 필요한 환경에서는 레드햇 오픈시프트 버추얼라이제이션에 배포한 오픈시프트 호스티드 컨트롤 플레인 운영을 공식 지원한다. 각 테넌트에 전용 클러스터 컨트롤 플레인을 제공하면서 하부 하드웨어는 통합하고, 오픈시프트 버추얼라이제이션 VM에서 AI 워크로드를 실행해 공유 GPU 인프라에서도 VM 단위로 테넌트를 격리한다.

 

CPU 오프로딩은 정식 기능으로 제공하고 스토리지 오프로딩은 개발자 프리뷰로 지원한다. GPU 메모리의 일부 데이터를 CPU나 스토리지로 옮겨 추가 GPU 없이 더 긴 대화와 대용량 문서를 처리한다. 제어된 모델 롤아웃 기능은 모델 업데이트 과정에서 트래픽을 조정해 서비스 중단을 최소화한다.

 

AutoRAG·에이전트 템플릿으로 기업 데이터 연결

오토RAG(AutoRAG)는 기업 데이터 저장소를 에이전틱 애플리케이션에 연결하고 다국어 문서와 대화형 테스트, 문맥 기반 검색을 지원한다. 사용자는 시각화된 파이프라인에서 RAG 설정을 배포 전에 확인하고 검증할 수 있으며, 오토RAG는 pg벡터(pgvector)도 지원한다.

 

AI 허브(AI Hub)는 코드 리뷰와 문서 처리, 리서치 워크플로 등 기업에서 반복적으로 사용하는 업무를 대상으로 사전 구성한 에이전트 템플릿과 스타터 키트를 제공한다. 리스폰스 API(Responses API)와 내장 RAG 기능을 정식 지원하고 엔비디아 니모 가드레일을 결합해 악의적인 툴 호출을 차단한다. 인퍼런스 타임 스케일링(Inference-Time Scaling)은 쿼리 복잡도에 따라 연산 자원을 동적으로 조절한다.

 

멀티클라우드 환경에서는 llm-d 분산 추론을 오픈시프트를 넘어 서드파티 쿠버네티스 서비스까지 확장했다. 코어위브 CKS와 마이크로소프트 애저에서 정식 제공하며 아마존 EKS는 테크놀로지 프리뷰로 지원한다. vLLM 옴니는 얼리 액세스로 제공해 하나의 서빙 계층에서 텍스트와 오디오, 이미지 생성을 처리한다. 개발자 프리뷰로 제공하는 큐브플로우 스파크 오퍼레이터(Kubeflow Spark Operator)는 분산 데이터 처리를 워크벤치에 연결해 데이터 준비와 모델 서빙을 한 플랫폼에서 다룬다. 서비스형 GPU 환경에서는 하드웨어 인벤토리와 실시간 활용률, 동적 GPU 용량 공유 현황을 대시보드에서 확인한다. 레드햇 AI 3.5는 현재 정식 출시됐으며 ‘레드햇 AI 팩토리 위드 엔비디아(Red Hat AI Factory with NVIDIA)’에서도 이용한다.

 

레드햇 AI 사업부 조 페르난데스(Joe Fernandes) 부사장 겸 총괄 매니저는 “이제 논의의 중심은 AI를 프로덕션 환경에 도입하는 것에서 신뢰할 수 있는 엔터프라이즈 인프라로 대규모 운영하는 단계로 이동했다”며 “레드햇 AI 3.5를 통해 IT 리더들이 하이브리드 클라우드 전반에서 AI를 안전하고 통제되며 책임성 있는 엔터프라이즈 AI 아키텍처로 운영하는 데 필요한 운영 제어력과 검증 가능한 신뢰성, 에이전틱 기반을 제공한다”고 밝혔다.

 

#레드햇 #RedHat #레드햇AI #RedHatAI35 #EvalHub #오픈시프트 #OpenShift #AI거버넌스 #AI관측성 #멀티테넌시 #GPU #AutoRAG #에이전틱AI #하이브리드클라우드