- AMD 인스팅트 MI300X 기반 첫 대규모 MoE 모델 ‘ZAYA1’ 공개

- Llama 3·OLMoE 대비 우수 성능…학습 효율성과 저장 속도 크게 향상

 

AMD가 자이프라(Zyphra)의 대규모 전문가 혼합(MoE) 기반 AI 모델 ‘ZAYA1’ 개발을 지원하며 프런티어급 AI 학습 분야에서 새로운 성과를 달성했다고 밝혔다. ZAYA1은 AMD 인스팅트(Instinct) MI300X GPU와 AMD 펜산도(Pensando) 네트워킹, ROCm 오픈 소스 소프트웨어 스택을 기반으로 학습된 최초의 대규모 MoE 모델이다.

 

ZAYA1, 주요 오픈 모델 대비 경쟁력 확보

자이프라에 따르면 ZAYA1 Base 모델은 추론·수학·코딩 등 다양한 벤치마크에서 Llama 3 8B와 OLMoE를 능가했으며, Qwen3 4B와 Gemma3 12B와 견줄 만한 성능을 보였다. 83억 파라미터 구조 중 활성 파라미터는 7억 6천만 개에 불과하지만, 효율적 구조 설계를 통해 비용·속도·정확성의 균형을 확보했다.

 

“AI 모델 학습 복잡성 크게 줄였다”

AMD 인공지능 그룹 에마드 바르숨 부사장은 “이번 성과는 복잡한 대규모 모델 학습에서 AMD 인스팅트 GPU와 펜산도 네트워킹의 유연성과 성능을 증명하는 사례”라며 “AMD는 혁신 기업들이 한계를 확장할 수 있도록 지속 지원하겠다”고 밝혔다.

 

“효율성 중심 설계 철학의 결과”

자이프라 CEO 크리틱 푸탈라스는 “ZAYA1은 모델 아키텍처, 알고리즘, 하드웨어 선택까지 효율성을 최우선으로 설계한 결과물이며, AMD 플랫폼에서 대규모 학습을 구현한 첫 사례라는 점에서 의미가 크다”고 말했다. 이어 “AMD·IBM과 협력을 강화해 차세대 멀티모달 파운데이션 모델 개발에 속도를 낼 것”이라고 덧붙였다.

 

대용량 메모리 기반 학습 효율성·속도 향상

AMD 인스팅트 MI300X는 192GB 고대역폭 메모리를 제공해 텐서 샤딩이나 고비용 전문가 활용 없이도 대규모 MoE 학습을 지원한다. 이를 통해 ▲ 학습 복잡성 감소 ▲ 전체 처리량 증가 ▲ 분산 I/O 최적화로 모델 저장 시간 약 10배 단축 등의 효과가 확인됐다.

 

자이프라는 AMD·IBM과 협력해 MI300X GPU와 고성능 클라우드 패브릭·스토리지 아키텍처로 구성된 대규모 학습 클러스터도 구축했으며, 이는 ZAYA1 사전학습의 핵심 인프라로 활용됐다.

 

#AMD #Zyphra #ZAYA1 #MI300X #AI모델학습 #MoE #ROCm #펜산도 #대규모모델 #AI반도체