- 비즈니스 전반에서 생성형 AI의 적용, 품질 이터레이션 및 생산화 과정 가속화 지원
데이터브릭스(Databricks)가 프로덕션 품질의 생성형 AI 구축을 지원하기 위해 모자이크(Mosaic AI)에 새로운 기능을 출시한다고 발표했다.
데이터브릭스는 모자이크 AI에서 복합 AI 시스템 구축 지원, 모델 품질 개선 기능 및 새로운 AI 거버넌스 도구 세 가지 핵심 영역에 투자한다. 이로써 고객이 프로덕션 품질의 애플리케이션을 구축 및 측정하고, 자사 비즈니스에서 생성형 AI의 가치를 실현하도록 지원한다는 계획이다.
기업은 개인정보 보호, 품질 및 비용 문제로 인해 생성형 AI 프로젝트를 시범 단계에서 본격적인 프로덕션 단계로 전환하는 데 어려움을 겪고 있다. 파운데이션 모델은 기존보다 크게 개선됐지만 고품질의 결과를 생성하는 데에는 여전히 한계가 있으며, 최고 성능 모델이어도 부정확하거나 안전하지 않은 응답을 제공하거나 기밀 데이터를 노출할 위험이 있다.
오늘날 조직은 이러한 문제를 해결하기 위해 하나의 초대형 모델보다는 복합 AI 시스템을 배포하는 데 집중하고 있다. 이러한 접근 방식은 다양한 모델, 검색기, 벡터 데이터베이스, 평가, 모니터링, 보안 및 거버넌스를 위한 도구 등 여러 구성 요소를 사용한다. 결과적으로 복합 AI 시스템은 훨씬 우수한 생산 품질을 보장함으로써 조직이 보다 정확하고 안전하며 관리 가능한 AI 애플리케이션을 효율적으로 제공할 수 있도록 지원한다.
데이터브릭스 마테이 자하리아(Matei Zaharia) CTO는 “복합 AI 시스템은 향후 AI 애플리케이션의 품질, 신뢰성 및 평가를 극대화할 가장 좋은 수단으로서, 2024년 가장 중요한 AI 트렌드 중 하나가 될 것”이라고 밝히고, “데이터브릭스는 품질 개선에 투자해 이러한 트렌드를 선도하고 있을 뿐만 아니라, 실시간 데이터, 에이전트 및 도구로 모델을 보강해 잘 알려지지 않은 새로운 기능을 제공할 수 있는 독보적인 입지 또한 갖추고 있다”고 덧붙였다.
데이터브릭스가 고객의 프로덕션 품질 생성형 AI 애플리케이션 구축을 지원하기 위해 새롭게 출시한 기능으로는 모자이크 AI 에이전트 이밸류에이션(Agent Evaluation), 모자이크 AI 퀄리티 랩(Quality Lab), 모자이크 AI 툴 카탈로그(Tools Catalog), 모자이크 AI 모델 트레이닝(Model Training), 모자이크 AI 게이트웨이(Gateway)가 있다.
모자이크 AI 에이전트 이밸류에이션 및 툴 카탈로그를 통한 복합 AI 시스템 구축 지원
데이터브릭스는 새로운 기능을 통해 고객이 엔터프라이즈급 복합 AI 시스템을 구축하도록 돕는다. 검색 증강 생성(RAG)은 일종의 복합 AI 시스템으로, 벡터 데이터베이스와 같은 여러 구성 요소와 모니터링, 평가, 보안 및 거버넌스 도구를 사용해 LLM의 정확도를 향상한다.
지난 5월, 데이터브릭스는 데이터 인텔리전스 플랫폼에 원활하게 통합된 서버리스 벡터 데이터베이스인 모자이크 AI 벡터 검색(Vector Search)을 정식으로 출시한 바 있다. 이번에는 개발자가 파운데이션 모델과 엔터프라이즈 데이터를 사용해 고품질 RAG 애플리케이션을 신속하고 안전하게 구축할 수 있는 모자이크 AI 에이전트 이밸류에이션을 발표했다.
개발자는 모자이크 AI 퀄리티 랩을 통해 RAG 애플리케이션의 품질을 평가하고, 신속하게 반복 작업하며, 애플리케이션을 쉽게 재배포할 수 있다. 모자이크 AI 퀄리티 랩은 결과물의 품질이 우수한지 자동으로 판단하고 직관적인 UI를 제공해 이해관계자의 피드백을 받도록 하는 AI 지원 평가 도구다. 이 모든 기능은 조직이 프로덕션 품질의 생성형 AI 솔루션을 배포할 수 있도록 돕는다.
복합 AI 시스템은 흔히 도구를 활용해 지능적인 코드 생성 및 실행, 웹 검색, API 호출 등 외부와 상호 작용할 수 있는 새로운 기능을 시스템에 탑재한다. 모자이크 AI 툴 카탈로그는 조직이 데이터브릭스 유니티 카탈로그(Unity Catalog)를 사용해 도구를 관리, 공유 및 등록할 수 있도록 지원한다. 도구를 지원하는 모델은 안전하고 관리 가능한 방식으로 도구를 사용할 수 있을 뿐만 아니라, 조직 전체에서도 이들 도구를 검색할 수 있게 된다.
모자이크 AI 모델 트레이닝, 파운데이션 모델을 미세 조정해 모델 품질 향상과 비용 절감 지원
모자이크 AI 모델 트레이닝은 조직의 비공개 데이터로 오픈 소스 기반 모델을 미세 조정해 해당 도메인이나 업무에 특화된 새로운 지식을 제공한다. 고객은 미세 조정된 모델을 완전히 소유 및 제어하게 되는데, 해당 모델은 특정 업무를 위해 조직의 비공개 데이터로 학습되었기 때문에 특정 사용 사례에서 더 높은 품질의 결과를 생성한다.
모델 트레이닝으로 미세 조정된 소규모 모델은 특정 도메인에 더 높은 정확성을 제공할 뿐만 아니라, 매개변수가 적고 컴퓨팅 성능을 덜 필요로 하므로 대규모 독점 모델에 비해 보다 빠르고 저렴하다.
모든 생성형 AI 앱과 모델에 거버넌스를 제공하는 모자이크 AI 게이트웨이
모자이크 AI 게이트웨이는 모든 오픈 소스 또는 독점 모델을 쿼리, 관리 및 배포할 수 있는 통합 인터페이스를 제공해 고객이 애플리케이션 코드를 복잡하게 변경할 필요 없이 애플리케이션을 구동하는 대규모 언어 모델(LLM)을 쉽게 전환할 수 있도록 지원한다.
또한 모자이크 AI 게이트웨이는 사용량 추적 및 가드레일을 지원해 조직으로 하여금 누가 모델을 호출하는지 추적하고, 요금 한도를 설정해 기업 사용자의 지출을 제어하며, 사용 중인 모델에 관계없이 안전 및 개인 식별 정보(PII)를 필터링할 수 있도록 돕는다. 마지막으로, 해당 기능은 내장된 거버넌스와 모니터링을 통해 지속적으로 높은 품질을 보장한다.
코닝 수석 소프트웨어 엔지니어 데니스 카모츠키(Denis Kamotsky) 는 “코닝은 소재 과학 기업으로, 자사의 유리 및 세라믹 기술은 산업 및 과학 응용 분야에서 폭넓게 사용되고 있어 데이터를 이해하고 이에 따른 조치를 취하는 것이 필수적이다. 코닝은 미국 특허청 데이터를 포함한 수십만 개의 문서를 색인화하기 위해 데이터브릭스 모자이크 AI 에이전트 이밸류에이션을 사용해 AI 연구 어시스턴트를 구축했다"고 밝히고, "연구원이 작업 중인 과제를 찾아 진행할 수 있도록 하기 위해서는 LLM 기반 어시스턴트가 높은 정확도로 질문에 응답하는 것이 매우 중요했다. 이를 구현하고자 데이터브릭스 모자이크 AI 에이전트 이밸류에이션을 사용해 미국 특허청 데이터로 증강된 생성형 AI 솔루션을 구축했으며, 데이터브릭스 데이터 인텔리전스 플랫폼을 활용해 검색 속도, 응답 품질 및 정확성을 크게 개선할 수 있었다"고 덧붙였다.
#데이터브릭스#AI#모자이크#생성형AI#LLM
