인공지능(AI)의 확산은 하드웨어와 소프트웨어 혁신 간의 지속적인 조율에 달려 있다. 이러한 결합은 엣지에서 워크로드를 실행하는 가장 작은 센서부터 대형 언어 모델(LLMs) 학습을 위해 복잡한 워크로드를 처리하는 가장 큰 서버에 이르기까지 모든 기술의 접점에서 AI 기능을 향상시킨다. 에코시스템이 AI의 진정한 잠재력을 실현하기 위해 움직임에 따라 보안, 지속 가능성, 데이터 한계 등이 모두 어려운 과제가 될 것이다. 따라서, 엣지에서 더 많은 추론을 포함하여 대규모로 AI를 구현할 수 있도록 업계 전반의 협업을 지속적으로 모색하는 것이 중요하다. Arm은 AI 혁신을 촉진하고 AI 기반 경험을 현실화하기 위해 다양한 새로운 전략적 파트너십에 참여하고 있다.

 

Arm은 이미 개발이 진행되고 있는 자체 기술 플랫폼 외에도 AMD, 인텔, 메타, 마이크로소프트, 엔비디아, 퀄컴 테크놀로지 등 선도적인 기술 기업들과 협력하여 보다 반응이 빠르고 안전한 사용자 경험을 위한 고급 AI 기능을 구현하는 데 중점을 둔 다양한 이니셔티브를 진행하고 있다. 이러한 파트너십은 컴퓨팅의 모든 영역에서 차세대 AI 경험을 제공하기 위해 1,500만 명 이상의 Arm 개발자들에게 필요한 기본 프레임워크, 기술 및 사양을 제공할 것이다.

 

엣지에서 AI 구동

오늘날 생성형 AI와 LLMs가 주목을 받고 있지만, Arm은 수년 동안 엣지에서 AI를 제공하는 데 앞장서 왔다. 스마트폰 분야에서 서드파티 AI 애플리케이션의 70%가 Arm CPU에서 실행되고 있다. 그러나 지속 가능한 방식으로 AI를 제공하고 데이터를 효율적으로 이동하는 방법을 모색함에 따라 업계는 엣지에서 AI 및 머신 러닝(ML) 모델을 실행하도록 발전해야 한다. 한편, 개발자는 점점 더 제한된 컴퓨팅 리소스로 작업하고 있기 때문에 이는 어려운 과제다.

 

Arm은 엔비디아와 협력하여 Ethos-U NPU용 로우코드 오픈 소스 AI 툴킷인 NVIDIA TAO를 적용하고 있으며, 이는 프로세서에 배포할 목적으로 성능에 최적화된 비전 AI 모델을 생성할 수 있도록 지원한다. 엔비디아 TAO는 대표적인 무료 오픈 소스 AI 및 ML 프레임워크인 텐서플로우(TensorFlow)와 파이토치(PyTorch)를 기반으로 구축에 사용하기 쉬운 인터페이스를 제공한다. 개발자에게 이는 모델을 쉽고 원활하게 개발 및 배포하는 동시에 더 복잡한 AI 워크로드를 엣지 디바이스로 가져와 향상된 AI 기반 경험을 제공할 수 있음을 의미한다.

 

모든 디바이스 및 시장 전반의 뉴럴 네트워크 발전

AI의 지속적인 성장에 있어 중요한 측면은 엣지에서의 뉴럴 네트워크 배포를 발전시키는 것이다. Arm과 메타는 ExecuTorch를 통해 엣지에 있는 Arm 기반 모바일 및 임베디드 플랫폼에 PyTorch를 제공하기 위해 노력하고 있다. 개발자는 ExecuTorch를 사용하여 모바일 및 엣지 디바이스 전반에서 고급 AI 및 ML 워크로드에 필요한 최첨단 뉴럴 네트워크를 훨씬 더 쉽게 배포할 수 있다. 앞으로 Arm과 메타의 협력을 통해 PyTorch 및 ExecuTorch를 활용하여 AI와 ML 모델을 쉽게 개발하고 배포할 수 있다.

 

메타와의 협력은 Arm이 이미 AI 및 ML 가속기를 위한 공통 프레임워크를 제공하고 딥 뉴럴 네트워크에서 사용되는 광범위한 워크로드를 지원하는 Tensor Operator Set Architecture(TOSA)에 투자한 상당한 성과를 기반으로 한다. TOSA는 Arm 아키텍처에 구축된 다양한 프로세서와 수십억 개의 디바이스를 위한 AI 및 ML의 초석이 될 것이다.

 

산업 전반에 걸쳐 확장 가능한 AI

상대적으로 저렴한 비용으로 AI를 확장하기 위해서는 데이터 형식의 광범위한 배포를 지원하는 것이 매우 중요하다. Arm은 AI 워크로드에 초점을 맞춘 다양한 새로운 소형 데이터 유형을 지원하기 위해 노력해왔다.

 

작년, Arm, 인텔, 엔비디아는 공동 협력을 통해 새로운 8비트 부동소수점 사양인 ‘FP8’을 발표했다. 이후 해당 사양은 탄력을 받으며 AMD, Arm, 구글, 인텔, 메타, 엔비디아로 참여 기업 그룹이 확대되었으며, 함께 공식 OCP 8비트 부동소수점 사양(OFP8)을 개발했다. Arm은 최신 A-프로파일 아키텍처 업데이트에서 이 표준에 부합하는 OFP8을 추가하여 업계 전반의 뉴럴 네트워크에 OFP8이 빠르게 채택될 수 있도록 지원했다. OFP8은 소프트웨어 에코시스템에서 뉴럴 네트워크 모델을 쉽게 공유할 수 있도록 하는 8비트 데이터 형식으로, 수십억 개의 디바이스에서 AI 컴퓨팅 기능을 지속적으로 발전시킬 수 있도록 지원한다.

 

개방형 표준은 AI 에코시스템에서 혁신, 일관성 및 상호 운용성을 촉진하는 데 매우 중요하다. 이러한 표준에 대한 업계의 협력을 지속적으로 지원하기 위해 Arm은 최근 AMD, Arm, 인텔, 메타, 마이크로소프트, 엔비디아 및 퀄컴 테크놀로지가 포함된 Microscaling Formats(MX) 얼라이언스에 가입했다. MX 얼라이언스는 최근 수년간의 설계 공간 탐색 및 연구를 기반으로 마이크로스케일링으로 알려진 새로운 기술 사양을 공동 개발했으며, 이는 AI 애플리케이션의 소형 비트(8비트 및 8비트 미만) 훈련 및 추론을 위한 세분화된 확장 방식이다. 이 사양은 이러한 소형 비트 데이터 형식을 표준화하여 업계 전반의 단편화를 제거하고 확장 가능한 AI를 구현한다.

 

MX 얼라이언스는 협업의 정신으로 하이퍼스케일 데이터 센터 운영자 및 기타 컴퓨팅 인프라 업계 관계자들로 구성된 오픈 컴퓨트 프로젝트를 통해 라이선스 없는 개방형 MX 사양을 공개하여 업계의 광범위한 채택을 장려했다. 이는 에코시스템 전반에서 확장 가능한 AI 솔루션에 대한 공평한 액세스를 제공해야 할 필요성을 인식한 결과다.

 

전례 없는 AI 혁신

Arm은 이미 전 세계 AI 배포의 기반이 되고 있으며, 이러한 협력은 개발자가 고도의, 복잡한 AI 워크로드를 생성하기 위해 필요한 기술을 제공하는 방법 중 일부에 불과하다. 센서, 스마트폰, 소프트웨어 정의 차량부터 서버 및 슈퍼컴퓨터에 이르기까지, AI의 미래는 Arm을 기반으로 구축될 것이다.

 

#Arm#AI