- 엔비디아 A100 GPU, 99점의 백분위 점수로 낮은 지연시간 기록
- 백테스팅, 시뮬레이션 등 워크로드 처리량과 에너지 효율 부분에서 압도적인 성능 제공
엔비디아는 슈퍼마이크로 서버의 엔비디아(NVIDIA) A100 텐서 코어 GPU가 최신 STAC-ML 마켓 벤치마크의 추론 부문에서 최고 성능을 기록했다고 밝혔다. STAC-ML은 금융 서비스 관련 기술의 성능을 측정하는 주요 벤치마크이다.
엔비디아 A100 GPU는 가장 까다로운 모델에서 초당 수천 개의 추론을 제공하는 등 처리량 면에서 타의 추종을 불허하는 결과를 달성하는 한편, 최신 STAC-ML 추론 표준의 지연시간(latency) 부문에서도 선두에 올랐다.
여러 금융 기관들이 근소한 차로 엔비디아의 다음 순위에 올랐다. 최근 조사에 따르면 이들 금융 기관의 4분의 3이 머신 러닝이나 딥 러닝, 고성능 컴퓨팅에 의존하고 있다.
엔비디아 A100, 지연시간 부문 선두 기록
STAC-ML 추론 벤치마크는 장단기 메모리(LSTM) 모델 추론의 지연시간을 측정하도록 설계됐다. 여기서 지연시간은 새로운 인풋 데이터를 받아 모델의 아웃풋이 연산되기까지 걸리는 시간을 의미하며, LSTM은 자산 가격과 같은 금융 시계열 데이터의 발견에 주로 사용되는 모델이다. STAC 벤치마크에는 복잡성이 증가하는 LSTM 모델 세 개가 포함됐다. 슈퍼마이크로 울트라 슈퍼서버(Ultra SuperServer)에서 구동되는 엔비디아 A100 GPU는 99점의 백분위 점수로 낮은 지연시간을 기록했다.
STAC-ML과 STAC-A2, STAC-A3 벤치마크와 가속 컴퓨팅
엔비디아 A100은 STAC-ML 추론을 비롯해 STAC-A2 옵션 가격 예시(discovery) 벤치마크와 STAC-A3 모델 백테스팅(backtesting) 벤치마크에서 기록적인 성능을 달성했다. 이를 통해 엔비디아 AI 컴퓨팅이 오늘날 거래 환경의 파이프라인을 가속할 수 있음을 입증했다. 나아가 금융 기관에 최고의 성능과 워크로드의 다기능성을 제공할 수 있는 A100 GPU의 역량을 증명했다.
예측 가능한 성능과 지속적인 낮은 지연시간
금융 부문에서 예측 가능한 성능과 그에 따른 낮은 지연시간 환경을 구축하는 것은 매우 중요하다. 급박하게 돌아가는 시장 상황에서 과도한 이상값(outlier)은 상당한 손실을 초래할 수 있기 때문. 엔비디아는 그 지연시간에 큰 이상값이 없었다는 점에서 이목을 끌었다. LSTM모델 일체와 다수의 모델 인스턴스(동시 인스턴스 수 최대 32개)에서 최대 지연시간이 중간값의 2.3배를 넘지 않았다.
한편 엔비디아는 STAC 타카나 스위트(Tacana Suite) 벤치마크의 성능 결과를 최초로 제출했다. 타카나 스위트는 각 추론 작업에 새로운 시간 단계(timestep)가 추가되고 가장 오래된 것은 제거되는 슬라이딩 윈도에서 추론을 실행한다. 따라서 시장 데이터의 업데이트 전체에서 추론을 수행해야 하는 초단타 매매에 유용한 것으로 알려져 있다.
수마코(Sumaco) 스위트의 경우 각 추론이 완전히 새로운 데이터 세트에서 실행되며, 이벤트에 따라 최근의 기록을 기반으로 추론을 진행해야 하는 활용 사례가 대표적이다.
우수한 처리량
엔비디아는 FP16 정밀도의 수마코 스위트용으로 동일한 하드웨어에서 처리량을 최적화한 구성을 제출했다. 벤치마크 모델 중 복잡성이 가장 덜한 LSTM에서 슈퍼마이크로 서버의 A100 GPU는 초당 170만 개 이상의 추론이 실행되도록 도왔다. 가장 복잡한 LSTM의 경우에도 초당 12,800개의 추론을 처리했다.
엔비디아 A100의 성능과 다기능성
엔비디아 GPU는 전자 거래 스택의 소유 총비용(TCO) 절감에도 활용될 수 있다. 일례로 엔비디아 AI는 단일 플랫폼에서 훈련과 추론을 실행하며 AI 모델의 개발과 백테스팅, 배포의 전 단계에서 최고의 성능을 제공한다. 따라서 개발자의 입장에서는 연구와 거래를 위해 서로 다른 프로그래밍 언어와 프레임워크를 배울 필요가 없다.
또한, 엔비디아 쿠다(CUDA) 프로그래밍 모델은 GPU 가속 임베디드 시스템, 데스크톱 워크스테이션, 엔터프라이즈 데이터센터, 클라우드 기반 플랫폼, HPC 슈퍼컴퓨터 전반에 걸쳐 애플리케이션의 개발과 최적화, 배포를 지원한다.
효율 개선을 통한 운영비 절감
금융 서비스 업계는 데이터 처리량의 개선과 더불어 운영 효율의 향상을 통해 이익을 창출할 수 있다. 가령 데이터센터 내 시스템들의 에너지와 평방 피트당 사용량을 줄이는 것으로 운영비 지출을 크게 줄일 수 있는데, 이는 새로운 고성능 시스템의 비용 문제로 고민하는 IT 조직들에게 특히 중요한 부분이다.
엔비디아 A100은 가장 까다로운 LSTM 모델에서 1킬로와트 기준으로 초당 17,700개가 넘는 추론을 처리하면서 722와트의 전력을 소비해 최고의 에너지 효율을 보였다. 엔비디아 GPU는 이번 벤치마크 결과를 통해 GPU가 백테스팅과 시뮬레이션 같은 워크로드의 처리량과 에너지 효율 부분에서 압도적인 성능을 제공함을 다시 한번 입증했다.
#엔비디아#A100#추론#
