- 코드 변경 없이 단일 GPU에서 전체 슈퍼컴퓨터로 확장 가능
- 미국, 호주, 인도 등 다양한 국가 대학과 연구소서 워크플로우 개선
엔비디아는 미국 애틀랜타에서 개최되는 '슈퍼컴퓨팅 2024(SC24) 콘퍼런스에서 엔비디아 cu파이뉴메릭(NVIDIA cuPyNumeric) 가속 컴퓨팅 라이브러리를 통해 데이터 처리 가속화에 나선다고 밝혔다.
많은 과학자들은 나노 규모의 전자 거동을 연구하든, 수백만 광년 떨어진 별이 충돌하는 현상을 관찰하든 공통의 과제를 안고 있다. 바로 페타바이트급 데이터를 분석해 자신의 분야를 발전시킬 수 있는 인사이트를 추출해야 한다는 것이다.
이제 연구원들은 엔비디아 cu파이뉴메릭 가속 컴퓨팅 라이브러리를 통해 데이터 처리용 파이썬(Python) 코드를 CPU 기반 노트북, GPU 가속 워크스테이션, 클라우드 서버 또는 대규모 슈퍼컴퓨터에서 손쉽게 실행할 수 있다. 데이터를 더 빠르게 처리할수록 유망한 데이터 포인트, 조사할 가치가 있는 트렌드, 실험 조정에 대한 의사 결정을 더 빨리 내릴 수 있다.
연구자들은 가속 컴퓨팅으로 전환하기 위해 컴퓨터 과학에 대한 전문 지식을 갖출 필요가 없다. 익숙한 넘파이(NumPy) 인터페이스를 사용해 코드를 작성하거나, 기존 코드에 cu파이뉴메릭을 적용해 성능과 확장성을 위한 모범 사례를 따를 수 있다.
cu파이뉴메릭을 적용하면 코드 변경 없이 하나 또는 수천 개의 GPU에서 코드를 실행할 수 있다.
cu파이뉴메릭의 최신 버전은 현재 콘다(Conda)와 깃허브(GitHub)에서 제공된다. 이는 엔비디아 GH200 그레이스 호퍼 슈퍼칩(Grace Hopper Superchip)에 대한 지원, 실행 시 자동 리소스 구성, 향상된 메모리 확장성을 제공한다. 또한, 과학계에서 널리 사용되는 파일 형식인 HDF5를 지원해 크고 복잡한 데이터를 효율적으로 관리할 수 있다.
여러 연구원들이 cu파이뉴메릭을 통합해 데이터 분석 워크플로우를 크게 개선했다. 그 예시로 미국 스탠퍼드대 SLAC 국립가속기 연구소(SLAC National Accelerator Laboratory), 로스 앨러모스 국립 연구소(Los Alamos National Laboratory), 호주 국립 대학교(Australian National University), 매사추세츠주립대 보스턴캠퍼스(UMass Boston), 스탠퍼드대 난기류 연구센터(the Center for Turbulence Research at Stanford University), 인도국립지급공사(National Payments Corporation of India, NPCI) 등이 있다.
코드 변경 없는 무한한 GPU 확장성
파이썬은 데이터 과학, 머신 러닝, 수치 컴퓨팅을 위한 가장 일반적인 프로그래밍 언어로, 천문학, 신약 개발, 재료 과학, 핵 물리학 등 과학 분야의 수백만 명의 연구자들이 사용하고 있다. 깃허브에는 수만 개의 패키지가 넘파이 수학과 행렬 라이브러리에 의존하고 있으며, 지난달에는 3억 건이 넘는 다운로드 횟수를 기록했다. 이러한 모든 애플리케이션은 cu파이뉴메릭을 통해 가속 컴퓨팅의 혜택을 누릴 수 있다.
많은 과학자들은 넘파이를 사용해 단일 CPU 전용 노드에서 실행되는 프로그램을 구축한다. 이 때문에 전자 현미경, 입자 충돌기, 전파 망원경과 같은 기기에서 수집된 점점 더 큰 데이터 세트를 처리하는 알고리즘의 처리량이 제한된다.
cu파이뉴메릭은 연구자들이 데이터 세트의 크기와 복잡성이 증가하는 상황에 적응할 수 있도록 돕는다. 넘파이의 대체재를 제공해 수천 개의 GPU로 확장할 수 있게 한다. cu파이뉴메릭은 단일 GPU에서 전체 슈퍼컴퓨터로 확장할 때 코드 변경이 필요하지 않기 때문에 연구자들은 규모에 상관없이 가속 컴퓨팅 시스템에서 분석을 쉽게 실행할 수 있다.
빅데이터 문제 해결과 과학적 발견 가속화
스탠퍼드 대학교에서 운영하는 미국 에너지부(U.S. Department of Energy) 산하 연구소인 SLAC 국립가속기 연구소의 연구원들은 cu파이뉴메릭이 LCLS(Linac Coherent Light Source)에서 수행되는 X-선 실험의 속도를 높이는 데 도움이 된다는 사실을 발견했다.
반도체 재료 과학 발견에 중점을 둔 SLAC 팀은 cu파이뉴메릭이 데이터 분석 애플리케이션의 속도를 6배 향상시켜, 실행 시간을 몇 분에서 몇 초로 줄인다는 사실을 발견했다. 이러한 속도 향상 덕분에 팀은 고도로 전문화된 시설에서 실험을 수행하는 동시에 중요한 분석을 실행할 수 있게 됐다.
이들은 실험 시간을 보다 효율적으로 사용함으로써 새로운 재료 특성을 발견하고, 결과를 공유하며, 연구 결과를 더 빨리 발표할 수 있을 것으로 기대하고 있다.
#엔비디아#SC24#cu파이뉴메릭
