- 엔비디아 NIM의 추론 마이크로서비스와 통합, 엔비디아 GPU에 최적화된 고성능 모델 제공 지원
- 뉴렐릭 AI 모니터링 통해 엔비디아 NIM으로 구축된 애플리케이션을 위한 AI 스택 전반에서 심층 인사이트 제공
- 뉴렐릭 플랫폼에서 60개 이상의 AI 통합으로 발생한 데이터를 중앙 집중화해 통합적인 옵저버빌리티 제공
뉴렐릭은 기업고객이 생성형 AI 애플리케이션 개발, 배포 및 모니터링 과정의 복잡성을 완화하고 비용을 절감할 수 있도록 뉴렐릭 플랫폼을 엔비디아 NIM 추론 마이크로서비스(NVIDIA NIM inference microservice)와 통합했다고 밝혔다.
이제 고객은 뉴렐릭 AI 모니터링(New Relic AI monitoring)을 통해 엔비디아 NIM으로 구축된 애플리케이션의 AI 스택 전반에 걸쳐 통합적인 가시성을 확보할 수 있으며, 설정을 더욱 간소화하고 데이터 보안을 보장받을 수 있다. 이는 엔비디아 NIM 자체 호스팅 모델의 강력한 보안 기능과 사용 용이성을 보완해 생성형 AI 애플리케이션 제작을 가속화한다. 또한 뉴렐릭과 엔비디아 NIM의 통합을 통해 고객은 보다 빠르게 AI를 도입하고 투자수익률(ROI)을 달성할 수 있다.
비용 효율적인 고성능 모델 배포에 필수적인 옵저버빌리티
기업은 디지털 경험 향상, 생산성 증대 및 수익성 개선을 목적으로 생성형 AI를 빠르게 도입하고 있다. 가트너는 2026년까지 80% 이상의 기업이 생성형 AI를 이용하거나 생성형 AI 애플리케이션을 배포할 것이라고 밝혔다.
기업이 시장에서 우위를 점하기 위해선 빠른 배포 및 ROI 실현이 매우 중요하며, 이를 가능케 하는 핵심 요소는 옵저버빌리티다. 해당 기술은 서비스, 인프라 및 AI 레이어 전반에 걸쳐 AI 애플리케이션 스택에 대한 전체적인 정보를 실시간 확인할 수 있도록 하여 효율적이고, 안정적이며, 비용 효과적인 운영을 지원한다.
뉴렐릭 아샨 윌리(Ashan Willy) CEO는 “오늘날과 같이 경쟁이 치열한 시장에서 기업은 AI 기술의 ROI를 달성하기 위해 몇 년 동안이나 기다릴 여력이 없다. 그러나 옵저버빌리티는 AI 스택 전반에 걸쳐 가시성을 제공함으로써 이러한 문제를 해결한다”고 설명하고, “뉴렐릭은 엔비디아 NIM으로 구축된 AI 애플리케이션을 포함하도록 자사 플랫폼을 한층 확장함으로써 AI 옵저버빌리티를 선도하고 있다. 또한 엔비디아의 AI 기술과 뉴렐릭의 옵저버빌리티 및 애플리케이션 성능 모니터링(APM) 전문성을 결합함으로써 치열한 시장 내 기업들에게 AI 부문 경쟁력을 제공한다”고 밝혔다.
엔비디아 AI 소프트웨어 부문 디렉터 아만다 손더스(Amanda Saunders)는 "기업들이 경쟁적으로 생성형 AI를 도입하고 있는 가운데, 엔비디아 NIM은 기업들이 프로덕션 환경에 애플리케이션을 신속하게 배포할 수 있도록 지원한다. 뉴렐릭과 엔비디아 NIM의 통합을 통해 IT 및 개발 팀은 운영 인사이트를 민첩하게 관찰하고 이에 대응함으로써 AI 애플리케이션을 최적화할 수 있다"고 덧붙였다.
엔비디아 NIM으로 구축된 AI 애플리케이션의 더욱 빠른 ROI 달성 지원
AI 애플리케이션은 기술 스택 관리를 더 어렵게 만들고, 보안 문제를 증가시키며, 막대한 비용을 초래할 수 있다. 뉴렐릭 AI 모니터링은 데이터 프라이버시를 보장하면서 처리량, 레이턴시, 비용에 대한 주요 메트릭과 함께 AI 스택에 대한 통합적인 가시성을 제공한다.
또한, 서비스 및 모델 전반의 요청 흐름(request flow)을 추적해 AI 애플리케이션의 내부 작동 상황을 이해할 수 있다. 뉴렐릭은 데이터브릭스 DBRX(Databricks DBRX), 구글 젬마(Google Gemma), 메타 라마 3(Meta Llama 3), 마이크로소프트 파이-3(Microsoft Phi-3), 미스트랄 라지(Mistral Large), 미스트랄 8x22B(Mixtral 8x22B) 및 스노우플레이크 아크틱(Snowflake Arctic)을 포함한 다양한 AI 모델을 지원하며 엔비디아 NIM에 대해 심층적인 모니터링을 확대하여 제공한다. 이를 통해 기업은 엔비디아 NIM으로 구축된 AI 애플리케이션을 효과적으로 배포하고, 시장 출시 시간을 단축하며, ROI를 개선할 수 있다.
60개 이상 부문에서 엔비디아의 AI 통합 생태계 강화
이번 뉴렐릭과 엔비디아의 기술 통합은 최근 뉴렐릭이 엔비디아의 AIOps 파트너 생태계에 합류한 후 실현됐다. 뉴렐릭은 엔비디아 AI의 가속 컴퓨팅을 활용해 옵저버빌리티와 AI를 결합함으로써 IT 운영을 간소화하고 머신러닝 및 뉴렐릭 AI 생성형 AI 어시스턴트를 통한 혁신을 가속화할 수 있게 됐다. 뉴렐릭은 엔비디아 GPU 및 엔비디아 트리톤 추론 서버 소프트웨어(NVIDIA Triton Inference Server software)를 포함한 60개 이상의 부문에서 AI 기술을 통합함으로써 가장 종합적인 옵저버빌리티 솔루션을 제공하고 있다.
뉴렐릭 AI 모니터링은 올인원 옵저버빌리티 플랫폼을 통해 이용 가능하며, 사용량 기반 과금 모델을 통해 제공된다.
#뉴렐릭#엔비디아#AI#모니터링#
