데이터브릭스(Databricks)가 데이터 관리 기업인 타뷸러(Tabular) 인수에 합의했다고 발표했다. 타뷸러는 아파치 아이스버그(Apache Iceberg)의 창시자인 라이언 블루(Ryan Blue), 다니엘 윅스(Daniel Weeks), 그리고 제이슨 리드(Jason Reid)가 설립했다.

 

이번 인수로 데이터브릭스는 두 가지 대표적인 오픈소스 레이크하우스 형식인 아파치 아이스버그와 리눅스 파운데이션 델타 레이크(Linux Foundation Delta Lake) 창시자 간의 시너지를 발휘하고, 데이터 호환성을 선도해 조직이 더 이상 데이터의 형식에 제약을 받지 않도록 지원한다는 방침이다.

 

데이터브릭스는 레이크하우스에 형식 호환성을 제공하기 위해 델타 레이크 및 아이스버그 커뮤니티와 긴밀히 협력할 계획이다. 이러한 협력은 단기적으로는 델타 레이크 유니폼 내에서 이루어지며, 장기적으로는 개방적이고 공통적인 단일 상호운용성 표준으로 발전하게 된다.

 

레이크하우스 아키텍처의 부상과 형식 비호환성

데이터브릭스는 2020년 레이크하우스 아키텍처를 개척하고, 기존의 데이터 웨어하우징 워크로드와 AI 워크로드를 관리가 가능한 단일 데이터 사본에 통합할 수 있게 했다. 이를 위해서는 다양한 워크로드, 애플리케이션, 엔진이 동일한 데이터에 액세스할 수 있도록 모든 데이터가 개방형 형식이어야 한다. 레이크하우스 아키텍처는 데이터에 대한 접근을 보편화함으로써 기업의 생산성을 극대화하는데, 이는 독점 데이터 웨어하우스와는 대조적이다. 독점 데이터 웨어하우스에서는 독점 SQL 엔진만이 데이터를 읽거나 쓰거나 공유할 수 있으며, 다른 애플리케이션에서 데이터를 사용하기 위해서는 데이터를 복사하고 내보내야 해 특정 공급업체에 종속될 가능성이 높기 때문이다. 4년이 지난 현재, 전 세계 기업의 약 74%가 레이크하우스 아키텍처를 구축했다.

 

레이크하우스의 기반은 오브젝트 스토리지에 저장된 데이터의 ACID 트랜잭션을 지원하는 오픈소스 데이터 형식이다. 이러한 형식은 아파치 스파크(Apache Spark), 트리노(Trino) 및 프레스토(Presto)와 같은 오픈소스 엔진을 위해 특별히 설계됐으며, 데이터 레이크에서 데이터 작업의 안정성 및 성능을 획기적으로 개선한다.

 

데이터브릭스는 이를 지원하기 위해 리눅스 재단(Linux Foundation)과 협력해 델타 레이크 프로젝트를 출범했다. 지금까지 다양한 조직의 500명 이상의 코드 기여자가 이 프로젝트에 참여했으며, 전 세계 10,000개 이상의 기업이 델타 레이크를 사용해 매일 평균 4엑사바이트 이상의 데이터를 처리하고 있다.

 

델타 레이크가 만들어질 무렵, 라이언 블루와 다니엘 윅스는 넷플릭스(Netflix)에서 아이스버그 프로젝트를 개발해 아파치 소프트웨어 재단에 기부했다. 이후 델타 레이크와 아이스버그는 레이크하우스 형식의 두 가지 주요 오픈소스 표준으로 부상했다.

 

이 두 포맷은 모두 아파치 파케(Apache Parquet)를 기반으로 하며 비슷한 목표와 설계를 갖추고 있지만, 독립적으로 개발되어 호환되지는 않게 되었다. 시간이 지나면서 다른 여러 오픈소스 및 독점 엔진이 이들 형식을 채택했으나 두 표준 중 하나만, 그것도 일부만 채택하는 경우가 많았다. 이로써 기업 데이터가 파편화되고 사일로화되어 레이크하우스 아키텍처의 가치가 훼손되는 문제가 발생했다.

 

상호 운용성을 향한 여정

기업들은 레이크하우스의 이점을 실현하기 위해 데이터 상호운용성이 필요로 하며, 데이터브릭스는 델타 레이크 및 아이스버그 커뮤니티와 긴밀히 협력하여 시간이 지남에 따라 형식에 상호운용성을 제공할 계획이다. 이는 결코 짧지 않은 여정으로, 해당 커뮤니티에서 달성하는 데 몇 년이 걸릴 수도 있다. 이것이 바로 작년에 데이터브릭스가 델타 레이크 유니폼(UniForm)을 발표한 이유이다. 유니폼 테이블은 델타 레이크, 아이스버그, 후디(Hudi) 간에 상호 운용성을 제공하며, 기업이 모든 데이터에서 이미 익숙한 분석 엔진과 도구를 사용할 수 있도록 아이스버그의 안정적인 카탈로그 인터페이스를 지원한다. 기업은 현재 즉시 사용 가능한 유니폼을 통해 호환성을 확보할 수 있다. 아이스버그 팀의 합류로 데이터브릭스는 델타 레이크 유니폼을 한층 더 확장할 수 있게 되었다.

 

데이터브릭스 알리 고드시(Ali Ghodsi) CEO는 "데이터브릭스는 레이크하우스 부문의 선구자로, 지난 4년 동안 전 세계는 데이터 웨어하우스와 데이터 레이크의 장점을 결합한 레이크하우스 아키텍처를 도입하여 고객이 TCO를 절감하고, 개방성을 수용하며, AI 프로젝트를 더 빠르게 수행할 수 있도록 지원해 왔다”고 설명하고, “안타깝게도 오늘날 레이크하우스 패러다임은 가장 널리 사용되는 두 가지 형식인 델타 레이크와 아이스버그로 나뉘어져 있다. 데이터브릭스와 타뷸러는 오픈소스 커뮤니티와 협력하여 시간이 지남에 따라 두 형식을 더 가깝게 만들어 개방성을 높이며 고객의 사일로와 마찰을 줄여나갈 계획”이라고 밝혔다.

 

또한, “작년에 우리는 이 두 형식 간의 상호 운용성을 제공하기 위해 델타 레이크 유니폼을 발표했다. 유니폼을 통해 모든 워크로드에 대한 데이터를 통합하는 최고의 방법을 제공하기 위해 오픈 데이터 레이크하우스 형식의 선두 주자들을 한자리에 모으게 되어 매우 기쁘다”고 덧붙였다.

 

개방성을 향한 공동의 약속

그동안 데이터브릭스와 타뷸러는 오픈소스 형식을 옹호한다는 공통점을 공유해왔다. 두 기업 모두 창립자가 개발한 오픈소스 기술을 상용화하기 위해 설립되었으며, 현재 데이터브릭스는 매출 기준으로 가장 규모가 크고 성공적인 독립 오픈소스 회사로서 오픈소스 프로젝트에 1,200만 줄의 코드를 기부하기도 했다. 이번 인수는 클라우드에서 개방형 포맷과 오픈소스 데이터에 대한 데이터브릭스의 지속적인 노력을 보여주며, 기업이 데이터를 제어하고 독점 공급업체 소유의 형식으로 인한 종속성에서 벗어날 수 있도록 지원한다.

 

라이언 블루 타뷸러 CEO는 "우리는 정확성, 성능 및 확장성과 관련된 중요한 데이터 문제를 해결하기 위해 아파치 아이스버그를 개발했다”고 밝히고, “개방형 레이크하우스가 업계 표준으로 자리 잡으면서 아이스버그와 델타 레이크의 인기는 크게 상승했다. 타뷸러는 데이터브릭스에 합류해 개방형 레이크하우스 형식을 기반으로 최고의 데이터 관리 플랫폼을 구축할 계획으로, 이를 통해 '올바른' 형식을 선택하기 위한, 그리고 독점 데이터 포맷에 종속되지 않기 위한 기업의 우려를 해결하는 데 힘쓰고자 한다”고 강조했다.

 

#데이터브릭스#타뷸러#AI#