- 데이터 플라이휠 활용해 지속적으로 최적화하는 엔드 투 엔드 개발자 플랫폼 제공

- 기업 맞춤형 AI 에이전트 구축 위한 다양한 마이크로서비스 통합 지원

- AT&T, 블랙록, 시스코 등에서 선도적으로 도입해 AI 에이전트 정확성과 응답 시간 개선

 

엔비디아가 에이전트 기반 AI 플랫폼 개발을 가속화하고 기업의 생산성을 높이는 ‘엔비디아 네모 마이크로서비스(NVIDIA NeMo microservices)’를 정식 출시했다고 밝혔다. AI 에이전트의 정확성, 적시성, 관련성은 이것을 구동하는 데이터에 달려 있다.

 

이번에 정식 출시된 엔비디아 네모 마이크로서비스는 기업 IT 부서가 데이터 플라이휠(flywheel)을 활용해 직원 생산성을 높일 수 있는 AI 팀원을 빠르게 구축하도록 지원한다. 또한, 엔드 투 엔드 개발자 플랫폼을 제공해 최첨단 에이전틱 AI(Agentic AI) 시스템 개발 및  추론 결과, 비즈니스 데이터, 사용자 선호도에 기반한 데이터 플라이휠을 통해 지속적인 최적화를 지원한다.

 

데이터 플라이휠을 통해 기업 IT 부서는 AI 에이전트를 디지털 팀원으로 온보딩할 수 있다. 이러한 에이전트는 사용자 상호작용과 AI 추론 과정에서 생성된 데이터를 활용해 모델 성능을 지속적으로 개선할 수 있다. 이를 통해 ‘사용’을 ‘인사이트’로, ‘인사이트’를 ‘실행’으로 전환할 수 있다.

 

에이전틱 AI를 위한 강력한 데이터 플라이휠 구축

데이터베이스, 사용자 상호작용, 현실 세계의 신호 등의 고품질 입력이 지속적으로 제공되지 않으면 에이전트의 이해력은 약화된다. 그 결과, 응답의 신뢰성은 떨어지고 에이전트의 생산성도 저하될 수 있다.

 

운영 환경에서 AI 에이전트를 구동하는 모델을 유지하고 개선하기 위해서는 세 가지 유형의 데이터가 필요하다. 인사이트를 수집하고 변화하는 데이터 패턴에 적응하기 위한 추론 데이터, 인텔리전스를 제공하기 위한 최신 비즈니스 데이터, 모델과 애플리케이션이 예상대로 작동하는지를 판단하기 위한 사용자 피드백 데이터가 그것이다. 네모 마이크로서비스는 개발자가 이 세 가지 유형의 데이터를 효율적으로 활용할 수 있도록 지원한다.

 

또한, 네모 마이크로서비스는 에이전트를 구동하는 모델을 선별하고, 맞춤화하며, 평가하고, 안전장치를 적용하는 데 필요한 엔드 투 엔드 툴을 제공함으로써 AI 에이전트 개발 속도를 높인다.

 

엔비디아 네모 마이크로서비스는 네모 커스터마이저(Customizer), 네모 이밸류에이터(Evaluator), 네모 가드레일(Guardrails)을 포함하며, 네모 리트리버(Retreiver), 네모 큐레이터(Curator)와 함께 사용되어 맞춤형 엔터프라이즈 데이터 플라이휠을 통해 AI 에이전트의 구축 및 최적화, 확장하는 과정을 기업이 보다 수월하게 수행할 수 있도록 지원한다.

 

• 네모 커스터마이저는 거대 언어 모델(LLM) 미세 조정을 가속화해 최대 1.8배 높은 훈련 처리량을 제공한다. 이 고성능 마이크로서비스는 확장성이 뛰어나며, 지도 학습 미세 조정(supervised fine-tuning)과 LoRA(Low-Rank Adaptation) 등 널리 사용되는 사후 훈련 기술을 사용한다.
• 네모 이밸류에이터는 개인과 산업 벤치마크에서 AI 모델과 워크플로우의 평가를 단 5번의 API 호출로 간소화한다.
• 네모 가드레일은 단 0.5초의 추가 지연 시간만으로 규정 준수 보호 기능을 최대 1.4배까지 향상시킨다. 이를 통해 조직은 정책과 지침에 부합하는 강력한 안전, 보안 조치를 구현할 수 있다.

 

개발자는 네모 마이크로서비스를 통해 AI 에이전트의 정확성과 효율성을 높이는 데이터 플라이휠을 구축할 수 있다. 엔비디아 AI 엔터프라이즈(Enterprise) 소프트웨어 플랫폼을 통해 배포되는 네모 마이크로서비스는 온프레미스 또는 클라우드의 모든 가속 컴퓨팅 인프라에서 엔터프라이즈급 보안, 안정성, 지원과 함께 손쉽게 운영할 수 있다. 이 마이크로서비스는 기업들이 수백 개의 전문화된 에이전트를 협업시키는 대규모 멀티 에이전트 시스템을 구축하고 있는 현재, 정식 출시됐다. 각 에이전트는 고유의 목표와 워크플로우를 가지고 있으며, 디지털 팀원으로서 복잡한 업무를 함께 해결하며 직원들의 업무를 보조하고 강화하며 가속화한다.

 

이러한 기업 전반의 영향력은 AI 에이전트를 1조 달러 규모의 기회로 자리매김하게 한다. 적용 사례는 자동 사기 탐지, 쇼핑 도우미, 예측 기반 설비 유지보수, 문서 검토 등 다양하다. 또한, 비즈니스 데이터를 실행 가능한 인사이트로 전환하는 데 있어 데이터 플라이휠이 얼마나 중요한 역할을 하는지 다시 한번 강조한다.

 

네모 마이크로서비스로 AI 에이전트의 정확도를 높이는 업계 선도 기업들

엔비디아 파트너사들과 업계 선도 기업들은 디지털 팀원이 더 많은 업무를 수행할 수 있도록 반응형 AI 플랫폼을 구축하기 위해 네모 마이크로서비스를 사용하고 있다.

 

AT&T는 아리즈(Arize), 퀀티파이(Quantiphi)와 협력해 약 1만 건의 문서로 구성된 지식 베이스를 매주 업데이트하며 처리할 수 있는 고급 AI 기반 에이전트를 엔비디아 네모를 사용해 구축했다. 이 확장 가능한 고성능 AI 에이전트는 속도, 비용 효율성, 정확성이라는 세 가지 핵심 비즈니스 우선순위에 맞게 미세 조정됐고, 이는 AI 도입이 확대됨에 따라 점점 더 중요해지고 있다.

 

AT&T는 개인화된 서비스 제공, 사기 방지, 네트워크 성능 최적화를 위해 미스트랄(Mistral) 7B 모델을 미세 조정했다. 여기에는 네모 커스터마이저와 이밸류에이터가 활용됐으며, 이를 통해 AI 에이전트의 정확도는 최대 40%까지 향상됐다.

 

블랙록(BlackRock)은 공통 데이터 언어를 통해 투자 관리 프로세스를 통합하는 자사의 알라딘(Aladdin) 기술 플랫폼에 에이전틱 AI 기능을 더하기 위해 네모 마이크로서비스를 활용한다. 갈릴레오(Galileo)와 협력한 시스코(Cisco)의 아웃시프트(Outshift) 팀은 도구 선택 오류를 최대 40% 줄이고 최대 10배 빠른 응답 시간을 달성하는 코딩 어시스턴트를 구동하기 위해 엔비디아 네모 마이크로서비스를 사용하고 있다.

 

나스닥(Nasdaq)은 네모 리트리버 마이크로서비스와 엔비디아 NIM 마이크로서비스로 나스닥 젠 AI 플랫폼(Gen AI Platform)을 가속화하고 있다. 네모 리트리버는 플랫폼의 검색 기능을 향상시켜 정확도와 응답 시간을 최대 30%까지 개선하는 동시에 비용을 절감했다.

 

#엔비디아#네모#마이크로서비스#AI