대규모 머신러닝(ML) 모델 구축용 인프라스트럭처 및 도구를 제공하는 소프트웨어 개발 제공업체인 모자이크ML(MosaicML)이 오라클 클라우드 인프라스트럭처(OCI)를 선호 클라우드 인프라스트럭처로 선정하고 기업들의 데이터를 통한 가치 창출을 지원한다. 모자이크ML은 OCI의 고성능 인공지능(AI) 인프라스트럭처를 활용해 타 클라우드 제품 대비 최대 50% 빠른 성능과 최대 80%에 달하는 비용 절감 효과를 달성했다고 밝혔다.
모자이크ML의 나빈 라오(Naveen Rao) CEO 겸 공동창립자는 “수백 여 곳의 기업이 대규모의 복잡한 생성형 AI 모델을 개발하고 학습하는 데 모자이크ML의 플랫폼을 사용하고 있다. 모자이크ML은 고객이 고성능 맞춤형 모델을 구축하고 배포하는 데 집중할 수 있도록 복잡한 시스템 및 하드웨어를 전담 제공하고 있다”고 설명하고, “우리는 OCI가 모자이크ML을 위한 최고의 토대가 되어줄 것이라는 믿음 하에 OCI를 선택했다. 클라우드 내 방대한 양의 데이터를 사용해 모델을 학습시킬 때에는 1분 1초가 중요하다. OCI를 활용함으로써 타 클라우드 제공업체의 제품을 사용했을 때에 비해 비용을 절감할 수 있으며, 오라클의 상호 연결 구성 방식 덕분에 거의 선형적인 확장을 이룰 수 있다”고 밝혔다.
기업이 플랫폼의 모델 학습 기능을 사용해 AI 모델의 학습 및 추론을 보다 효율적이고 손쉽게 수행할 수 있도록 지원하는 모자이크ML은 증가하는 AI 서비스에 대한 수요를 지원하고 비즈니스를 확장하기 위해 OCI를 선택했다. 모자이크ML은 OCI를 통해 최신 엔비디아(NVIDIA) GPU, 노드 간 초고대역 상호 연결, 수천개의 GPU로 확장할 수 있는 대규모 컴퓨트 블록 크기를 활용할 수 있게 되었으며, 이러한 기능들을 사용해 기업 및 트웰브랩스(Twelve Labs)와 같은 스타트업이 AI 모델을 운영할 수 있도록 지원할 수 있게 됐다.
트웰브랩스는 멀티모달 영상이해를 위한 파운데이션 모델을 구축하는 AI 스타트업으로, OCI에서 실행되는 모자이크ML의 플랫폼과 OCI의 AI 인프라스트럭처를 활용해 자체 AI 모델을 효율적으로 확장 및 배포함으로써 사용자가 영상 데이터를 손쉽게 검색 및 분류하고 다양한 애플리케이션에서 보다 효과적으로 활용할 수 있도록 지원하고 있다.
트웰브랩스의 이재성 설립자 겸 CEO는 “모자이크ML과 오라클의 협업 덕분에 트웰브랩스는 대용량의 데이터를 빠른 속도로 처리하고, 장기적인 성장 목표를 진행할 수 있게 되었다”고 설명하고, “모자이크ML이 대규모 AI 클러스터의 효율적인 관리를 지원한다면, OCI의 AI 인프라스트럭처는 빠른 속도를 보장한다. 이에 따라 트웰브랩스는 효율성 측면에서 수천 시간과 수십만 달러에 달하는 비용을 절약할 수 있었다”고 밝혔다.
OCI는 AI 인프라스트럭처를 포함한 다양한 AI 기능들을 제공한다. OCI 컴퓨트 가상 머신과 베어메탈 GPU 인스턴스는 애플리케이션이 컴퓨터 비전, 자연어 처리, 추천 시스템 등의 기능을 수행하도록 지원하며, OCI 슈퍼클러스터(OCI Supercluster)는 대규모언어모델(LLM)을 비롯한 크고 복잡한 모델을 훈련시킬 수 있도록 초고속 클러스터 네트워킹, HPC 스토리지 및 엔비디아 GPU 기반의 OCI 컴퓨트 베어메탈 인스턴스를 제공한다. OCI 컴퓨트 인스턴스는 RoCE v2(RDMA over Converged Ethernet v2)를 사용하는 고성능 이더넷 네트워크를 통해 연결된다. OCI가 제공하는 엔비디아 A100 텐서 코어 GPU의 대역폭은 타사 제품 대비 4배에서 16배에 달하며, 머신러닝 학습에 드는 시간과 비용을 절감한다.
오라클의 그렉 파블릭(Greg Pavlik) 수석 부사장은 “수많은 AI 기업들이 생성형 AI 모델 실행을 위해 OCI를 찾고 있다. 이는 OCI가 다른 클라우드 제공업체 대비 훨씬 빠르고 경제적으로 모델을 실행할 수 있도록 지원하기 때문으로, OCI에서 100억 개의 매개변수 모델을 학습할 때 필요한 시간은 단 몇 시간이지만 다른 플랫폼에서는 며칠씩 걸린다”고 밝히고, “OCI의 아키텍처와 논블로킹(non-blocking) 및 저지연 네트워크 설계는 시중에 출시된 제품들과 근본적으로 차별화된다”고 덧붙였다.
#오라클#OCI#모자이크ML
