- 델타 레이크·아파치 아이스버그 데이터 직접 조회…최대 1만2000 QPS·100ms 미만 응답 지원

 

이터브릭스가 실시간 분석 플랫폼 레이크하우스 RT(Lakehouse//RT)를 공개했다. 델타 레이크(Delta Lake)와 아파치 아이스버그(Apache Iceberg) 데이터를 직접 조회해 실시간 분석을 수행하며, 별도 실시간 서빙 시스템 없이 밀리초 단위 응답 속도를 제공한다.

 

AI 에이전트 시대의 실시간 데이터 과제

AI 에이전트가 기업 업무에 직접 참여하면서 실시간 데이터 접근 속도는 새로운 인프라 과제로 떠오르고 있다. 하지만 기존 환경에서는 레이크하우스와 별도로 실시간 서빙 레이어를 구축해야 했고, 데이터 복제와 동기화, 거버넌스 분리, 운영 비용 증가 문제가 뒤따랐다. 데이터브릭스는 이러한 한계를 해결하기 위해 Lakehouse//RT를 개발했다. 거버넌스가 적용된 레이크하우스 내부에서 데이터를 직접 조회하기 때문에 별도 데이터 이동이나 복사 없이 최신 데이터를 활용할 수 있다.

 

레이든 엔진으로 100ms 미만 응답

Lakehouse//RT는 신규 컴퓨팅 엔진 레이든(Reyden)을 기반으로 동작한다. 완전 비동기식 실행 모델을 적용해 소규모 데이터 세트에서는 최저 10ms, 대규모 데이터 세트에서는 100ms 미만 응답 시간을 제공한다. 초당 1만2000개 쿼리를 처리하는 환경에서도 동일 수준의 지연 시간을 유지했으며, 고객 환경에서는 기존 실시간 서빙 스택 대비 최대 16배 높은 성능을 기록했다. 단순 조회 작업뿐 아니라 복잡한 분석 워크로드에도 동일한 엔진을 적용한다.

 

거버넌스 유지한 채 실시간 분석

실시간 분석 환경에서는 성능뿐 아니라 권한 관리와 감사 기능도 중요하다. Lakehouse//RT의 모든 쿼리는 유니티 카탈로그(Unity Catalog)의 거버넌스 프레임워크 안에서 실행된다. 별도 권한 계층이나 고유 데이터 포맷, CDC 파이프라인 없이 델타 레이크와 아파치 아이스버그 데이터를 직접 조회한다. 이에 따라 분석 환경과 데이터 자산 간 거버넌스 공백을 줄이고 운영 복잡성도 낮출 수 있다.

 

데이터 복사 없이 AI 에이전트 활용

AI 에이전트는 반복적으로 데이터를 조회하고 추론을 수행하기 때문에 낮은 지연 시간과 최신 데이터 접근이 필수적이다. Lakehouse//RT는 수만 명의 동시 사용자와 AI 에이전트 환경을 지원하도록 설계됐으며, 데이터를 복사하거나 이동하지 않고도 실시간 분석을 수행한다.

 

데이터브릭스 알리 고드시(Ali Ghodsi) 공동창립자 겸 CEO는 "Lakehouse//RT는 사람들이 원하는 속도와 AI 에이전트가 필요로 하는 밀리초 단위 응답 환경을 제공한다"며 "실시간 분석 엔진 역시 레이크하우스 기반으로 구현할 수 있다는 점을 보여줄 것"이라고 밝혔다.

 

시스코(Cisco) 크리스 코펙(Chris Kopek) 데이터 플랫폼 총괄은 "Lakehouse//RT는 실시간 데이터 환경에서 기존 대비 5배 빠른 응답 속도를 제공했으며 별도 서빙 시스템 없이 레이크하우스에서 직접 워크로드를 실행할 수 있도록 했다"고 덧붙였다.

 

현재 Lakehouse//RT는 베타 버전으로 제공된다.

 

#데이터브릭스 #Databricks #LakehouseRT #레이든 #Reyden #델타레이크 #DeltaLake #아파치아이스버그 #ApacheIceberg #유니티카탈로그 #UnityCatalog #실시간분석 #AI에이전트 #데이터플랫폼 #데이터웨어하우스