- 새로운 GPU 가속 엔비디아 NIM 마이크로서비스와 클라우드 엔드포인트 카탈로그 공개
- 마이크로서비스 통해 데이터 처리, LLM 맞춤화, 추론, 검색 증강 생성, 가드레일 가속화
- 케이던스, 크라우드스트라이크, SAP, 서비스나우 등 광범위한 AI 에코시스템에 채택
엔비디아는 수십 개의 엔터프라이즈용 생성형 AI 마이크로서비스를 출시했다고 발표했다. 기업은 이를 통해 지적 재산에 대한 완전한 소유권과 통제권을 유지하면서 자체 플랫폼에서 맞춤형 애플리케이션을 생성하고 배포할 수 있다.
클라우드 네이티브 마이크로서비스 카탈로그는 엔비디아 쿠다(CUDA)플랫폼을 기반으로 구축됐으며 엔비디아 NIM 마이크로서비스를 포함한다. 엔비디아 NIMTM은 엔비디아와 파트너 에코시스템에서 제공하는 24개 이상의 인기 AI 모델에 대한 추론 최적화를 지원한다. 또한 검색 증강 생성(retrieval-augmented generation, RAG), 가드레일, 데이터 처리, HPC 등을 위한 엔비디아 가속 소프트웨어 개발 키트, 라이브러리, 툴을 엔비디아 쿠다-X 마이크로서비스로 액세스할 수 있다. 이뿐만 아니라 엔비디아는 24개 이상의 의료용 NIM과 쿠다 -X 마이크로서비스도 별도로 발표했다.
엄선된 마이크로서비스는 엔비디아의 풀스택 컴퓨팅 플랫폼에 새로운 계층을 추가한다. 이 계층은 모델 개발자, 플랫폼 제공업체, 기업 AI 생태계를 맞춤형 AI 모델을 실행하는 표준화된 경로로 연결한다. 이때 맞춤형 AI 모델은 클라우드, 데이터센터, 워크스테이션, PC에 탑재된 수억 개의 GPU로 구성된 엔비디아 CUDA 설치 기반에 최적화된 모델이다.
어도비(Adobe), 케이던스(Cadence), 크라우드스트라이크(CrowdStrike), 게티이미지(Getty Images), SAP, 서비스나우(ServiceNow), 셔터스톡(Shutterstock) 등 선도적인 애플리케이션, 데이터, 사이버 보안 플랫폼 제공업체들이 엔비디아 AI 엔터프라이즈 5.0(AI Enterprise 5.0)에서 제공되는 새로운 엔비디아 생성형 AI 마이크로서비스를 가장 먼저 활용하고 있다.
엔비디아 CEO 젠슨 황(Jensen Huang)은 "기존 엔터프라이즈 플랫폼은 생성형 AI 코파일럿으로 전환할 수 있는 풍부한 데이터를 가지고 있다. 파트너 에코시스템과 함께 구축된 이러한 컨테이너화된 AI 마이크로서비스는 모든 산업 분야의 기업이 AI 기업으로 거듭나기 위한 기본 요소"라고 밝혔다.
몇 주에서 몇 분으로 배포 시간을 단축하는 NIM 추론 마이크로서비스
NIM 마이크로서비스는 트리톤 추론 서버(Triton Inference Server)와 텐서RT-LLM(TensorRT-LLM)을 비롯한 엔비디아 추론 소프트웨어로 구동되는 사전 구축된 컨테이너를 제공한다. 이로써 개발자는 배포 시간을 몇 주에서 몇 분으로 단축할 수 있다.
해당 서비스는 언어, 음성, 신약 개발과 같은 도메인을 위한 업계 표준 API를 제공한다. 개발자는 이러한 지원을 바탕으로 자체 인프라에서 안전하게 호스팅되는 독점 데이터를 사용해 AI 애플리케이션을 빠르게 구축할 수 있다. 더불어 애플리케이션을 필요에 따라 확장 가능한 유연상과 성능도 갖췄다. 엔비디아 가속 컴퓨팅 플랫폼 상에서 프로덕션 환경 내 생성형 AI를 실행할 수 있다.
NIM 마이크로서비스는 엔비디아, A121, 어뎁트(Adept), 코히어(Cohere), 게티이미지, 셔터스톡 모델과 더불어 구글(Google), 허깅페이스(Hugging Face), 메타(Meta), 마이크로소프트(Microsoft), 미스트랄 AI(Mistral AI), 스태빌리티 AI(Stability AI)의 오픈 모델을 배포할 수 있는 가장 빠르고 성능이 뛰어난 프로덕션 AI 컨테이너를 제공한다.
서비스나우는 새로운 도메인별 코파일럿과 기타 생성형 AI 애플리케이션을 더 빠르고 비용 효율적으로 개발, 배포하기 위해 NIM을 사용한다고 발표했다.
고객들은 아마존 세이지메이커(Amazon SageMaker), 구글 쿠버네티스 엔진(Google Kubernetes Engine), 마이크로소프트 애저 AI(Microsoft Azure AI)에서 NIM 마이크로서비스에 액세스하고 딥셋(Deepset), 랭체인(LangChain), 라마인덱스(LlamaIndex)와 같은 인기 AI 프레임워크와 통합할 수 있게 된다.
RAG, 데이터 처리, 가드레일, HPC를 위한 쿠다-X 마이크로서비스
쿠다-X 마이크로서비스는 데이터 준비, 맞춤화, 훈련을 위한 엔드투엔드 빌딩 블록을 제공해 산업 전반에서 프로덕션 AI 개발 속도를 높인다. 기업들은 AI 채택을 가속화하기 위해 맞춤형 음성 및 번역 AI를 위한 엔비디아 리바(Riva), 라우팅 최적화를 위한 엔비디아 cuOpt, 고해상도 기후 및 날씨 시뮬레이션을 위한 엔비디아 어스-2(Earth-2) 등의 쿠다-X 마이크로서비스를 사용할 수 있다.
개발자는 네모 리트리버(NeMo Retriever) 마이크로서비스를 통해 텍스트, 이미지, 막대 그래프, 라인 플롯, 파이 차트 등의 시각화를 포함한 비즈니스 데이터에 AI 애플리케이션을 연결해 매우 정확하고 맥락에 맞는 응답을 생성할 수 있다. 이러한 RAG 기능을 통해 코파일럿, 챗봇, 생성형 AI 생산성 도구에 더 많은 데이터를 제공해 정확도와 인사이트를 높일 수 있다.
맞춤형 모델 개발을 위한 추가적인 엔비디아 네모(NeMo) 마이크로서비스도 곧 출시될 예정이다. 여기에는 훈련과 검색을 위한 정제된 데이터세트 구축 목적의 엔비디아 네모 큐레이터(Curator), 도메인별 데이터로 LLM을 미세 조정하기 위한 엔비디아 네모 커스터마이저(Customizer), AI 모델 성능 분석을 위한 엔비디아 네모 이밸류에이터(Evaluator), LLM용 엔비디아 네모 가드레일(Guardrails) 등이 포함된다.
에코시스템, 생성형 AI 마이크로서비스로 엔터프라이즈 플랫폼 강화
주요 애플리케이션 제공업체 외에도 엔비디아 에코시스템 전반의 데이터, 인프라, 컴퓨팅 플랫폼 제공업체들이 엔비디아 마이크로서비스와 협력해 기업에 생성형 AI를 제공하고 있다.
박스(Box), 클라우데라(Cloudera), 코히시티(Cohesity), 데이터스택스(Datastax), 드롭박스(Dropbox)와 넷앱(NetApp)을 비롯한 최고의 데이터 플랫폼 제공업체들이 엔비디아 마이크로서비스와 협력하고 있다. 이로써 고객이 RAG 파이프라인을 최적화하고 자사의 독점 데이터를 생성형 AI 애플리케이션에 통합할 수 있도록 지원한다. 스노우플레이크(Snowflake)는 네모 리트리버를 활용하여 엔터프라이즈 데이터를 AI 애플리케이션 구축에 활용한다.
기업은 주요 클라우드 서비스인 아마존 웹 서비스(Amazon Web Services, AWS), 구글 클라우드(Google Cloud), 애저, 오라클 클라우드 인프라스트럭쳐(Oracle Cloud Infrastructure) 등 원하는 인프라에 엔비디아 AI 엔터프라이즈 5.0에 포함된 엔비디아 마이크로서비스를 배포할 수 있다.
또한 엔비디아 마이크로서비스는 시스코(Cisco), 델 테크놀로지스, 휴렛팩커드 엔터프라이즈(HPE), HP, 레노버(Lenovo), 슈퍼마이크로(Supermicro)의 서버와 워크스테이션을 포함한 400개 이상의 엔비디아 인증 시스템(NVIDIA-Certified Systems)에서 지원된다. 한편 HPE는 생성형 AI용 HPE의 엔터프라이즈 컴퓨팅 솔루션 출시를 발표했으며, NIM과 엔비디아 AI 파운데이션(AI Foundation) 모델을 HPE AI 소프트웨어에 통합할 계획이다.
엔비디아 AI 엔터프라이즈 마이크로서비스는 VM웨어 프라이빗 AI 파운데이션 위드 엔비디아(VMware Private AI Foundation with NVIDIA)를 포함한 인프라 소프트웨어 플랫폼에 제공될 예정이다. 레드햇 오픈시프트(Red Hat OpenShift)는 보안, 규정 준수, 제어에 최적화된 기능을 통해 기업이 생성형 AI 기능을 애플리케이션에 보다 쉽게 통합할 수 있게 하는 엔비디아 NIM 마이크로서비스를 지원한다. 캐노니컬(Canonical)은 엔비디아 AI 엔터프라이즈를 통해 엔비디아 마이크로서비스에 대한 참드 쿠버네티스(Charmed Kubernetes) 지원을 추가하고 있다.
엔비디아 에코시스템은 어브릿지(Abridge), 애니스케일(Anyscale), 데이터이쿠(Dataiku), 데이터로봇(DataRobot), 글린(Glean), H2O.ai, 시큐리티 AI(Securiti AI), 스케일.ai(Scale.ai), 옥토AI(OctoAI), 웨이츠 앤드 바이어시스(Weights & Biases) 등 수백 개의 AI와 MLOps 파트너로 구성됐다. 엔비디아 에코시스템은 엔비디아 AI 엔터프라이즈를 통해 엔비디아 마이크로서비스에 대한 지원을 추가하고 있다.
아파치 루씬(Apache Lucene), 데이터스택스, 파이스(Faiss), 키네티카(Kinetica), 밀버스(Milvus), 레디스(Redis), 위비에이트(Weaviate)는 기업용 반응형 RAG 기능 강화를 위해 엔비디아 네모 리트리버 마이크로서비스와 협업하는 벡터 검색 제공업체 중 하나이다.
개발자는 ai.nvidia.com에서 무료로 엔비디아 마이크로서비스를 실험해 볼 수 있다. 기업에서는 엔비디아 인증 시스템 및 주요 클라우드 플랫폼에서 실행되는 엔비디아 AI 엔터프라이즈 5.0을 통해 프로덕션급 NIM 마이크로서비스를 배포할 수 있다.
#엔비디아#GTC#2024#생성형AI#코파일럿#AI
