- 설정 하나만 바꾸면 코드 재작성 없이 트레이니움2·3에서 네이티브 실행

 

아마존웹서비스(AWS)가 기존 파이토치(PyTorch) 코드를 자체 AI 칩 AWS 트레이니움에서 실행하는 ‘토치뉴런(TorchNeuron)’을 공개했다. 개발자는 코드에서 사용할 칩을 지정하는 설정 하나만 변경하면 기존 파이토치 코드를 다시 작성하지 않고 트레이니움에서 네이티브로 실행한다. 토치뉴런은 아파치 2.0 라이선스 기반 오픈소스로 공개했으며 트레이니움2와 트레이니움3를 지원한다.

 

현재 AI 연구자와 개발자의 85%가 파이토치로 코드를 작성하지만, 기존에는 새로운 칩을 사용하려면 해당 하드웨어에 맞춰 소프트웨어를 수정하고 다시 검증해야 했다. AWS는 토치뉴런으로 이 과정을 줄여 기존 파이토치 개발 환경에서 트레이니움으로 실행 대상을 넓힌다.

 

설정 하나 바꿔 트레이니움에서 네이티브 실행

토치뉴런은 파이토치에 내장된 하드웨어 등록 표준 메커니즘과 연결된다. 개발자는 AI 모델 테스트와 디버깅, 확장에 사용하던 기존 파이토치 도구를 트레이니움에서도 수정 없이 그대로 사용한다.

 

AWS가 동일한 AI 학습 스크립트를 기존 칩과 트레이니움에서 각각 실행한 비교 시연에서는 두 환경의 차이가 칩을 지정하는 설정 하나뿐이었다. AI 모델은 두 환경에서 같은 내용을 같은 속도로 학습했다.

 

토치뉴런은 파이토치의 네이티브 분산 학습 프레임워크인 토치타이탄(TorchTitan)과 통합된다. 개발자는 완전 샤딩 데이터 병렬 처리(FSDP)를 이용해 하나의 모델을 여러 칩에 나눠 학습하고, 여러 트레이니움 인스턴스로 학습을 확장한다. AWS는 여러 칩에 걸친 분산 학습 도구와 최대 성능을 위해 하드웨어를 직접 제어하는 로우레벨 코드 작성 도구도 제공한다.

 

음성 AI·신약 개발 등 다양한 분야에서 적용

로보틱스와 영상, 월드 모델, 자율주행차, 음성, 신약 개발, 대규모 언어 모델(LLM), 금융 분야의 스타트업과 대기업이 토치뉴런을 기반으로 개발을 진행하고 있다. 이들 기업은 기존 코드를 다시 작성하지 않고 트레이니움으로 전환했다.

 

카르테시아(Cartesia)는 트레이니움의 파이토치 네이티브 지원을 활용해 파이토치 코드를 최소한으로 수정한 상태에서 표준 추론 파이프라인을 실행했다. 리버 뇌발달연구소(Lieber Institute for Brain Development)는 연산 비용이 높은 분자동역학 시뮬레이션을 AI 도구로 가속하거나 대체하는 방안을 토치뉴런을 활용해 트레이니움에서 검토하고 있다.

 

대규모 AI 인프라를 운영하는 기업은 학습과 추론에 같은 하드웨어를 사용한다. 추론 수요가 낮은 시간대에는 남는 추론 용량을 모델 학습 작업으로 전환해 하드웨어 활용도를 높인다.

 

파이토치 업스트림 기여·vLLM 커널 공개

AWS는 파이토치 커뮤니티와 협력해 프레임워크를 특정 칩에 묶어 두는 코드를 제거하고 관련 변경 사항을 파이토치 업스트림에 기여하고 있다. 파이토치를 특정 하드웨어에 종속되지 않는 프레임워크로 만드는 것이 목표다.

 

허깅페이스(Hugging Face)는 자사 AI 개발 도구에 트레이니움 네이티브 지원을 적용했다. 개발자는 AWS 전용 코드를 작성하지 않고 허깅페이스 개발 도구를 트레이니움에서 사용한다.

 

AWS는 추론 속도를 높이는 오픈소스 도구 vLLM에도 코드를 기여하고, 칩에서 연산을 처리하는 성능 최적화 커널 전체를 오픈소스로 공개했다. 토치뉴런은 빌드마다 수십만 개의 AI 모델을 이용해 테스트한다.

 

#AWS #아마존웹서비스 #토치뉴런 #TorchNeuron #파이토치 #PyTorch #트레이니움 #Trainium #AI반도체 #AI인프라 #토치타이탄 #FSDP #vLLM