- 엔비디아 가속화 아파치 스파크로 수백만 달러 절약, 데이터센터 분석 워크로드 자동화

- 호주 최대 금융기관 CBA, 아파치 스파크용 래피즈 액셀러레이터로 63억 거래 5일만에 처리

 

 

엔비디아는 GTC2025에서 프로젝트 에테르(Project Aether)를 공개했다. 프로젝트 에테르는 대규모 GPU 가속화를 위해 스파크 워크로드를 자동으로 검증, 테스트, 구성, 최적화하는 도구와 프로세스 모음이다. 이를 통해 엔비디아 가속 스파크(Spark) 기능 활용을 극대화할 수 있다.

 

전 세계 많은 기업이 아파치 스파크(Apache Spark)를 활용해 방대한 데이터 세트를 분석함으로써 중요한 운영을 지원하고 트렌드, 고객 행동, 비즈니스 성과 등을 예측하고 있다. 기업의 데이터 처리와 이해 속도가 빠를수록 더 많은 수익을 얻고 비용을 절감할 수 있다.

 

이런 이유로 세계 최대 규모 소매업체와 은행을 비롯해 대규모 데이터 세트를 보유한 많은 기업이 아파치 스파크용 엔비디아 래피즈 액셀러레이터(NVIDIA RAPIDS Accelerator for Apache Spark)를 채택하고 있다. 이 오픈 소스 소프트웨어는 엔비디아 가속 컴퓨팅 플랫폼 기반으로 실행돼 코드 변경 없이 엔드 투 엔드 데이터 사이언스와 분석 처리 과정 속도를 크게 향상시킨다.

 

1년 분량 작업을 일주일만에 완료하는 프로젝트 에테르

프로덕션에서 스파크를 사용하는 고객은 수만 개 이상의 복잡한 작업을 관리하는 경우가 많다. CPU 전용 컴퓨팅에서 GPU 기반 컴퓨팅으로 마이그레이션하면 이점이 많지만, 수작업으로 진행해야 하는 시간 소모가 큰 과정이 될 수 있다.

 

프로젝트 에테르는 기업들이 이전에 수작업으로 수행했던 수많은 단계를 자동화한다. 여기에는 모든 스파크 작업을 분석해 GPU 가속에 가장 적합한 후보를 식별하고, 각 작업의 테스트 실행을 준비하고 수행하는 과정이 포함된다. 또한, AI를 사용해 각 작업의 구성을 미세 조정함으로써 최대 성능을 구현하고자 한다.

 

프로젝트 에테르의 효과를 알아보기 위해 100개의 스파크 작업을 처리해야 하는 기업이 있다고 가정해볼 수 있다. 이때, 프로젝트 에테르를 사용하면 모든 작업을 엔비디아 GPU 가속에 맞게 구성하고 최적화하는 데 단 4일밖에 걸리지 않는다. 반면 데이터 엔지니어 한 명이 동일한 프로세스를 수작업으로 수행하면 최대 1년이 걸린다.

 

호주 커먼웰스 은행, 엔비디아 가속 아파치 스파크로 AI 혁신 주도

전 세계 기업들은 엔비디아 가속 컴퓨팅에서 아파치 스파크를 실행해 CPU만 사용할 때보다 적은 하드웨어로 더 빠르게 작업을 완료할 수 있다. 이로써 시간, 공간, 전력, 냉각은 물론 클라우드의 자체 데이터 센터 자본과 운영 비용을 절감할 수 있다.

 

호주 최대 금융 기관인 호주 커먼웰스 은행(CBA)은 호주 금융 거래의 60%를 차지한다. CBA는 스파크 워크로드 실행에서 지연 시간과 비용과 관련된 어려움을 겪고 있었다. CPU 전용 컴퓨팅 클러스터를 사용하고 있어 매일 발생하는 대규모 데이터 수요 처리 외에도 훈련 백로그 처리 시간이 9년 가까이 걸릴 것으로 추산됐다.

 

CBA 데이터와 분석 수석 책임자인 앤드류 맥멀란(Andrew McMullan)은 “하루에 4천만 건의 추론 작업을 처리해야 하기 때문에, 이를 신속하고 신뢰할 수 있는 방식으로 처리하는 것이 매우 중요했다”고 밝혔다.

 

이에 따라 CBA는 아파치 스파크용 래피즈 액셀러레이터를 GPU 기반 인프라에서 실행했고, 640배의 성능 향상을 통해 63억 건의 거래를 단 5일만에 처리할 수 있었다. 더불어 매일 4천만 건의 거래에 대해 46분만에 추론을 수행할 수 있었으며, CPU 기반 솔루션과 비교할 때 비용을 80% 이상 절감할 수 있게 됐다.

 

앤드류 맥멀란은 “엔비디아 가속 아파치 스파크의 또 다른 가치로, 비용 효율적인 모델 구축에 필요한 컴퓨팅 시간 효율성을 지원하는 것”이라고 밝히고, “CBA는 이를 통해 고객 서비스를 개선하고, 고객 주택 대출 지원 필요 시기를 예측하고, 사기 거래를 신속하게 감지할 수 있도록 돕는 모델을 효율적으로 구축할 수 있었다”고 덧붙였다.

 

CBA는 엔비디아 가속 아파치 스파크를 활용해 고객이 일반적으로 디지털 서비스 이용을 종료하는 지점을 정확히 파악할 계획이다. 이를 통해 은행이 적절한 시점에 문제를 해결해 고객이 서비스를 이용 중단하는 비율을 줄일 예정이다.

 

#GTC#2025#엔비디아#CBA#에테르#아파치#스파크#래피즈#