- 3D 가이드 뉴럴 렌더링으로 조명·소재 생성…RTX 5090에서 4K 최대 370 FPS
엔비디아가 AI 기반 그래픽 기술 ‘DLSS 5’를 9월 4일 오후 1시 출시하고, 비주얼 콘셉츠는 ‘NBA 2K27’에 이 기술을 처음 적용한다. 3D 가이드 뉴럴 렌더링(3D-Guided Neural Rendering)은 게임 엔진이 만든 지오메트리와 텍스처, 조명 정보를 바탕으로 사실적인 조명과 소재를 생성하며, 지포스 RTX 50 시리즈 PC·노트북과 지포스 나우에서 작동한다.
게임 엔진 정보를 바탕으로 조명·소재 생성
영화용 시각효과는 프레임 하나를 렌더링하는 데 수 시간에서 수일이 걸리지만, 게임은 플레이어의 조작에 맞춰 초당 60프레임 이상의 화면을 그려야 한다. 개발자는 실시간 성능을 확보하기 위해 머리카락의 지오메트리와 피부의 다층 소재, 장면의 조명 표현을 단순화해 왔다. 일반적인 생성형 모델은 확률을 기반으로 작동해 같은 프롬프트를 반복해서 입력해도 서로 다른 이미지를 생성한다. 캐릭터의 외형과 프레임 사이의 일관성을 유지해야 하는 게임에는 적용하기 어려운 방식이다.
DLSS 5는 텍스트 프롬프트 대신 게임 엔진이 렌더링한 프레임의 색상과 모션 벡터, 표면 알베도, 표면 노멀, 조명 버퍼를 입력받아 객체와 소재, 광원, 공간 관계를 분석한다. 그래픽 파이프라인의 마지막 렌더링 단계에서는 피부의 서브서피스 스캐터링과 머리카락·식생을 통과하는 빛, 글로벌 일루미네이션, 접촉 그림자를 생성한다. 아티스트가 만든 지오메트리와 캐릭터 외형은 그대로 유지한다.
한 프레임을 입력받아 한 프레임 출력
DLSS 5는 같은 입력 프레임에서 같은 결과를 내는 결정론적 AI 모델을 사용한다. 여러 프레임을 한꺼번에 처리하는 비디오 생성 모델과 달리 한 프레임을 입력받아 한 프레임을 출력하며, 게임 엔진의 모션 벡터를 바탕으로 움직이는 장면에서도 깜빡임과 흔들림, 시간적 드리프트 없이 프레임을 유지한다.
엔비디아는 아티스트의 창작 의도와 프레임 간 안정성을 유지하면서 밀리초 단위로 실행하는 실시간 3D 렌더링용 소형 AI 모델을 개발했다. 이 모델은 단일 GPU에서 구동되며 지포스 RTX 50 시리즈의 텐서 코어를 이용해 최대 4K 해상도의 조명과 소재를 실시간으로 렌더링한다.
DLSS는 2018년 슈퍼 레졸루션으로 출발해 프레임 생성과 멀티 프레임 생성, 레이 리컨스트럭션으로 기능을 넓혀 왔다. DLSS 4.5는 화면에 표시되는 24개 픽셀 가운데 최대 23개를 AI로 생성하며, DLSS 5는 기존 장면을 재구성하는 방식에서 나아가 실시간 렌더링에 필요한 조명과 소재 디테일까지 생성한다.
강도 조절·마스킹으로 적용 영역 제어
게임 개발자는 DLSS 5 SDK에서 서로 다른 파라미터 가중치를 적용한 AI 모델을 선택하고, 게임 플레이와 시네마틱 장면의 특성에 맞춰 여러 모델을 조합한다. 빽빽한 식생을 표현하는 야외 장면과 조명이 중심인 실내 장면에 각기 다른 모델을 적용하는 방식이다.
구조 강도(Structure Intensity)는 앰비언트 오클루전과 반사, 서브서피스 스캐터링 같은 고주파 디테일을 조절한다. 톤 강도(Tone Intensity)는 조명과 색상 반응 등 저주파 디테일의 적용 범위를 정하며, 값을 0으로 낮추면 게임 엔진이 렌더링한 색상을 그대로 표시한다.
시맨틱 AI 마스킹은 캐릭터와 환경 등 장면 속 객체를 자동으로 구분해 영역별 효과 강도를 조절한다. 엔진 수준의 마스킹은 유리 식기와 물방울, 식생 같은 소품이나 에셋 그룹을 별도로 지정해 주변 요소에 영향을 주지 않고 선택한 대상에만 뉴럴 조명을 적용한다.
스트림라인·언리얼 엔진 5 플러그인 지원
DLSS 5는 엔비디아 스트림라인 프레임워크와 언리얼 엔진 5 플러그인을 통해 게임에 통합한다. 독립 기능으로 작동해 개발사는 슈퍼 레졸루션과 멀티 프레임 생성, 레이 리컨스트럭션 가운데 필요한 기술을 선택해 조합한다. 래스터화와 레이 트레이싱, 패스 트레이싱을 기반으로 한 기존 렌더링 방식과도 함께 작동한다. 레이 트레이싱이나 패스 트레이싱이 풍부한 조명 데이터를 제공할수록 DLSS 5의 최종 출력도 더 정확해진다.
‘NBA 2K27’ 캐릭터 외형 유지하고 조명·소재 보완
‘NBA 2K27’은 DLSS 5를 적용한 첫 게임이다. 비주얼 콘셉츠는 실제 선수를 스캔해 만든 얼굴 지오메트리를 유지한 채 빛이 피부와 머리카락을 통과하는 모습, 코·턱·유니폼 주변에 생기는 접촉 그림자를 DLSS 5로 표현했다. 같은 기술은 코트 주변 관중과 스태프의 피부와 소재에도 적용했다.
비주얼 콘셉츠 수석 프로듀서 피터 캐빅(Peter Kavic)은 “DLSS 3D 가이드 뉴럴 렌더링은 소재와 조명의 시각적 품질을 향상하는 데 도움을 줬으며, 게임 전반의 극사실성을 크게 끌어올렸다”고 밝혔다.
RTX 5090에서 4K 최대 370 FPS
지포스 RTX 5090은 4K 해상도와 울트라 프리셋, 레이 트레이싱 환경에서 DLSS 5를 비롯한 DLSS 기능을 적용해 ‘NBA 2K27’을 최대 370 FPS로 구동한다. 2560×1440 해상도에서는 같은 설정을 기준으로 RTX 5090이 최대 590 FPS, RTX 5080은 410 FPS, RTX 5070 Ti는 350 FPS, RTX 5070은 260 FPS를 기록한다. 1920×1080 해상도에서는 지포스 RTX 50 시리즈 대부분이 울트라 프리셋과 레이 트레이싱, DLSS 5를 함께 적용해 게임을 실행한다.
‘NBA 2K27’은 9월 4일 오후 1시부터 지포스 RTX 50 시리즈 PC와 노트북에서 DLSS 5를 지원하며, 지포스 RTX 5080 기반 클라우드 게이밍 시스템을 이용하는 지포스 나우 얼티밋 회원도 DLSS 5를 사용할 수 있다.
#엔비디아 #DLSS5 #3D가이드뉴럴렌더링 #NBA2K27 #지포스RTX50 #RTX5090 #뉴럴렌더링 #레이트레이싱 #지포스나우 #게임그래픽
