- 윈도우 ML 기반 ‘RTX용 엔비디아 텐서RT’로 AI 성능 대폭 강화

- 새로운 엔비디아 NIM 마이크로서비스와 AI 블루프린트로 개발자 워크플로우 혁신

- 프로젝트 G-어시스트 통해 코딩 없이도 AI 기능 개발 지원

 

엔비디아가 마이크로소프트(Microsoft)와 협력해 RTX AI PC를 위한 다양한 기능과 개발자 도구를 통해 AI 생태계 전반을 확장하고 있다고 밝혔다. RTX AI PC용으로 새롭게 설계된 엔비디아 텐서RT(NVIDIA TensorRT)는 윈도우 ML(Windows ML)을 통해 제공되며, 고성능 AI 실행 환경을 지원한다.

 

생성형 AI는 디지털 휴먼부터 글쓰기 도우미, 지능형 에이전트, 크리에이티브 도구에 이르기까지 PC 소프트웨어를 획기적인 경험으로 변화시키고 있으며, 엔비디아 RTX AI PC는 생성형 AI 실험을 더 쉽게 시작하고, 윈도우 11에서 더 뛰어난 성능을 발휘할 수 있도록 지원하는 기술로 이러한 변화를 주도하고 있다.

 

엔비디아 텐서RT가 RTX AI PC를 위해 새롭게 설계됐다. 업계 최고 수준의 텐서RT 성능과 함께 적시 온디바이스 엔진 구축과 기존 대비 8배 더 작은 패키지 크기를 통해 1억 대 이상의 RTX AI PC에 AI를 원활하게 배포할 수 있도록 돕는다.

 

마이크로소프트 빌드(Microsoft Bulid)에서 발표된 RTX용 텐서RT는 앱 개발자에게 광범위한 하드웨어 호환성과 최첨단 성능을 모두 제공하는 새로운 추론 스택인 윈도우 ML에서 기본적으로 지원된다.

 

엔비디아는 AI 기능을 통합하려는 개발자를 위해 엔비디아 DLSS부터 엔비디아 RTX 비디오(RTX Video)와 같은 멀티미디어 향상 기능까지 다양한 소프트웨어 개발 키트(software development kits, SDKs) 옵션을 제공한다. 이번 달에는 오토데스크(Autodesk), 빌리빌리(Bilibili), 카오스(Chaos), LM 스튜디오(LM Studio), 토파즈 랩스(Topaz Labs)의 인기 소프트웨어 애플리케이션에서 RTX AI 기능과 가속화를 위한 업데이트를 출시할 예정이다.

 

AI 애호가와 개발자는 엔비디아 NIM을 사용해 AI를 쉽게 시작할 수 있다. 이는 애니띵LLM(AnythingLLM), 마이크로소프트 VS 코드(VS Code), 컴피UI(ComfyUI)와 같은 인기 앱에서 실행 가능한 사전 패키징, 최적화된 AI 모델이다. 이번 주에 출시되는 플럭스.1-쉬넬(FLUX.1-schnell) 이미지 생성 모델은 NIM 마이크로서비스로 제공되며, 인기 있는 플럭스.1-데브(dev) NIM 마이크로서비스는 더 많은 RTX GPU를 지원하도록 업데이트됐다.

 

엔비디아 앱 내 RTX PC AI 어시스턴트인 프로젝트 G-어시스트(Project G-Assist)는 코딩 없이 간단한 AI 개발을 시작하고자 하는 사용자들을 지원한다. 이를 통해 자연어 기반 AI로 PC 앱과 주변기기를 제어하는 플러그인을 직접 구축할 수 있다. 아울러 구글 제미나이(Google Gemini) 웹 검색, 스포티파이(Spotify), 트위치(Twitch), IFTTT, 시그널RGB(SignalRGB)등 새로운 커뮤니티 플러그인도 현재 제공되고 있다.

 

RTX용 텐서RT로 가속화된 AI 추론

오늘날의 AI PC 소프트웨어 스택을 사용하려면 성능을 타협하거나 특정 하드웨어에 대한 사용자 지정 최적화에 투자해야 한다.

 

윈도우 ML은 이러한 문제를 해결하기 위해 개발됐다. 윈도우 ML은 ONNX 런타임(ONNX Runtime) 기반으로 구동되며, 각 하드웨어 제조업체에서 제공하고 유지 관리하는 최적화된 AI 실행 레이어에 원활하게 연결된다.

 

지포스(GeForce) RTX GPU의 경우, 윈도우 ML은 높은 성능과 빠른 배포를 위해 RTX용 텐서RT 추론 라이브러리를 자동으로 사용한다. 다이렉트ML(DirectML)과 비교했을 때, 텐서RT는 PC에서 AI 워크로드를 처리하는 데 50% 이상 빠른 성능을 제공한다.

 

텐서RT는 PC에서 AI 워크로드에 다이렉트ML보다 50% 이상 빠른 성능을 제공한다. 성능은 지포스 RTX 5090에서 측정됐다.

 

또한 윈도우 ML은 개발자의 QoL(Quality of Life) 측면에서도 다양한 이점을 제공한다. 각 AI 기능을 실행하는 데 가장 적합한 하드웨어(GPU, CPU, NPU)를 자동으로 선택하고, 해당 하드웨어에 맞는 실행 공급자를 다운로드해 해당 파일을 앱에서 패키징할 필요가 없게 한다. 이로써 최신 텐서RT 성능 최적화가 준비되는 즉시 사용자에게 제공될 수 있다.

 

                                                                                 텐서RT 성능 최적화는 준비되는 즉시 사용자에게 제공된다.

 

텐서RT는 원래 데이터센터용으로 구축된 라이브러리였지만, RTX AI PC를 위해 새롭게 설계됐다. RTX용 텐서RT는 텐서RT 엔진을 사전 생성해 앱과 함께 패키징하는 대신, 적시에 온디바이스 엔진을 구축해 사용자의 특정 RTX GPU에 최적화된 AI 모델 실행을 수 초 내에 처리할 수 있다. 또한 라이브러리 패키징 방식이 간소화돼 파일 크기가 기존 대비 8배까지 크게 줄었다.

 

RTX용 텐서RT는 현재 윈도우 ML 프리뷰를 통해 제공되고 있으며, 6월부터는 엔비디아 개발자(NVIDIA Developer) 포털에서 독립형 SDK로 제공될 예정이다.

 

#엔비디아#RTX#텐서RT#AIPC#