Extra Form
항목 뉴스
참조#1 https://arxiv.org/pdf/2010.09125.pdf
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄 첨부
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄 첨부

엔비디아는 자사의 AI 리서치 랩(AI Research Lab)에서 개발한 GANverse3D 애플리케이션을 공개했다. 이는 평면 이미지를 사실적인 3D 모델로 변환해 가상 환경에서 시각화 및 제어를 가능하게 한다.

 

엔비디아, 2D 이미지를 3D 모델로 변환하는 ‘GANverse3D 애플리케이션’ 공개.png.jpg

건축가, 크리에이터, 게임 개발자, 디자이너가 GANverse3D를 활용하면 3D 모델링 분야에 전문성이 없거나 렌더링에 투자할 대규모 예산이 없어도 자신의 실물 모형(mockups)에 새로운 오브젝트를 손쉽게 추가할 수 있다. 이는 특정 자동차 사진 한 장 만으로, 사실적인 전조등, 후미등, 점멸등까지 완비한 3D 모델을 구축해 가상의 장면에서 주행하게 만들 수 있다.

 

엔비디아 AI 리서치 랩의 연구자들은 훈련용 데이터세트의 마련에 생성적 적대 신경망(GAN)을 적용해 마치 사진사가 주차된 차량 주변을 걸으며 서로 다른 각도에서 사진을 찍듯, 동일한 오브젝트를 다양한 각도에서 묘사하는 이미지들을 합성했다. 이를 통해 얻은 다시점 이미지들을 2D 이미지에서 3D 메시 모델을 추론하는 프로세스인 그래픽(inverse graphics) 렌더링 프레임워크에 연결했다.

 

다시점 이미지로 훈련을 완료한 GANverse3D는 단일 2D 이미지만으로 3D 메시 모델을 구현할 수 있다. 이는 오브젝트를 커스터마이징하고 배경을 스왑 아웃(swap out)할 수 있는 3D 뉴럴 렌더러와 함께 사용할 수 있다.

 

GANverse3D엔비디아 옴니버스(Omniverse) 플랫폼의 확장기능으로 가져와 엔비디아 RTX GPU로 실행하면 모든 형태의 2D 이미지를 3D로 재현할 수 있다. 일례로 1980년대에 큰 인기를 끌었던 TV 드라마 ‘전격 Z작전’에서 범죄에 맞서 싸우며 대중의 사랑을 한 몸에 받았던 자동차 키트(KITT)도 재현이 가능하다.

 

기존의 역 그래픽용 모델들은 훈련 데이터로 3D 형상에 의존해 왔다. 이번 프로젝트의 책임 저자를 맡은 웬젱 첸(Wenzheng Chen) 엔비디아 연구원은 “3D 에셋의 도움을 받는 대신 GAN 모델을 효율적인 데이터 생성기로 전환해 웹상의 모든 2D 이미지로 3D 오브젝트를 만들 수 있게 됐다”고 설명했다.

 

준 가오(Jun Gao) 엔비디아 연구원은 “일반적인 파이프라인 대신 합성 데이터를 활용한 실제 이미지로 훈련을 진행하여 AI 모델이 실제 애플리케이션들과 만났을 때 한층 뛰어난 일반화 능력을 보여준다”고 밝혔다.

 

GANverse3D 연구 내용은 5월에 개최될 인공지능학회 표현학습국제학회(ICLR)와 6월에 열릴 패턴인식 학술대회(CVPR)에서 소개될 예정이다.

 

평면적 타이어에서 질주하는 ‘키트’로

게이밍, 건축, 디자인 분야의 크리에이터들은 최종 제품의 제작에 앞서 시뮬레이션과 협업을 위한 플랫폼인 엔비디아 옴니버스와 같은 가상 환경을 활용해 새로운 아이디어를 검증하고 프로토타입을 시각화한다. 이 과정에서 옴니버스 커넥터(Omniverse Connector)를 사용해 자신이 선호하는 3D 애플리케이션을 옴니버스 내에서 사용하면서 복잡한 가상 세계의 시뮬레이션과 실시간 레이 트레이싱을 수행할 수 있다. 

 

그러나, 스케치한 오브젝트의 3D 모델을 생성할 시간적 여유나 리소스가 없는 경우가 존재한다. 전시장 한 개 분량의 자동차들, 거리 한 개 분량의 건물들을 렌더링하는 데 필요한 다시점 이미지들을 일일이 캡처하는 데는 비용이 많이 소요된다.

 

훈련을 마친 GANverse3D 애플리케이션을 사용하면 자동차와 건물이 포함된 일반 이미지를 3D 모델로 변환할 수 있으며, 동물을 비롯한 무엇이든 표현이 가능하다. 옴니버스에서 해당 3D 모델들의 커스터마이징과 애니메이션 작업을 진행할 수 있다.

 

드라마 속 키트의 재현을 위해 연구자들은 훈련을 마친 모델에 키트의 이미지를 투입했다. 키트에게 적합한 3D 텍스처를 비롯해 바퀴와 전조등 같은 기타 부위의 예측은 GANverse3D에서 진행됐다. 다음으로 엔비디아 옴니버스 키트(Omniverse Kit)엔비디아 PhysX 을 사용해 예측 텍스처를 고품질 머티리얼로 변환하여 키트에 보다 사실적 외관과 느낌을 부여했으며, 이를 역동적인 주행 시퀀스 안에 다른 차량들과 함께 배치했다.

 

장 프랑수아 라플레체(Jean-Francois Lafleche) 엔비디아 딥 러닝 엔지니어는 “옴니버스는 크리에이터와 사용자들을 흥미진진한 최첨단 연구와 직접 연결하는 역할을 한다. GANverse3D가 옴니버스의 확장기능으로 제공되면 게임 개발, 도시 계획, 새로운 머신 러닝 모델의 훈련 등에서 보다 다채로운 가상 세계를 창조하는 데 도움이 될 것”이라고 밝혔다.

 

차원을 바꾸는 GAN의 위력

동일한 오브젝트를 서로 다른 각도에서 캡처하는 데이터 세트는 현실적으로 드물다. 2D를 3D로 변환하는 AI 툴의 대부분은 셰이프넷(ShapeNet)과 같은 합성 3D 데이터세트(synthetic 3D datasets)를 사용해 훈련된다.

 

엔비디아 연구자들은 웹상에서 공개적으로 얻을 수 있는 자동차 이미지와 같은 실세계 데이터에서 다시점 이미지를 얻기 위해 GAN 모델을 활용했다. 이는 GAN 모델의 신경망 레이어를 조작해 데이터 생성기로 변환시키는 방식이다.

 

연구팀은 해당 신경망의 처음 레이어 4개를 켜고, 나머지 12개를 동결하면 GAN이 동일한 오브젝트를 서로 다른 각도에서 바라본 이미지를 내놓는다는 사실을 발견했다. 처음 레이어 4개를 동결하고 나머지 레이어 12개에 변화를 주면서 동일한 각도에서 본 서로 다른 이미지를 생성할 수 있었다. 특정 고도나 카메라와의 거리를 나타내는 차량들을 이용해 표준 각도를 수동으로 할당한 결과 개별 2D 이미지들로 다시점 데이터세트를 신속히 생성할 수 있었다. 

 

GAN으로 생성한 55,000개의 자동차 이미지를 활용해 훈련을 마친 최종 모델은 파스칼3D(Pascal3D) 데이터세트로 훈련한 역 그래픽 네트워크보다 향상된 성능을 보였다.

 

?

  1. 윈드리버-벡터, “ADAS 및 자율 주행을 위한 공동 솔루션 개발 협력”

    윈드리버는 오토모티브 소프트웨어 전문 기업 벡터(Vector)와 협력하여 오토사 어댑티브(AUTOSAR Adaptive) 표준 기반의 ADAS 및 자율주행 기능 개발을 지원하는 서비스지향아키텍처(SOA)를 제공한다고 밝혔다. 오토사 어댑티브 표준은 차량 출시 이후에도 기...
    Date2021.04.21 Bynewsit Reply0 Views9 항목뉴스 file
    Read More
  2. 컴볼트, APJ 채널 및 얼라이언스 담당 부사장에 '프라빈 사하이' 선임

    - 프라빈 사하이(Praveen Sahai), 컴볼트 아시아태평양 및 일본(APJ) 내 채널 및 얼라이언스, 서비스 파트너 총괄 담당 - 파트너 네트워크 강화 및 프로그램 최적화를 비롯해 지역 내 파트너 조직 성장 주력 예정 컴볼트는 아시아태평양 및 일본(APJ) 내 채널 ...
    Date2021.04.20 Bynewsit Reply0 Views11 항목뉴스 file
    Read More
  3. 줌, 1억 달러 규모 ‘줌 앱스 펀드(Zoom Apps Fund)’ 발표

    - 새로운 벤처 펀드로 줌 앱스 생태계 내 혁신 촉진 줌 비디오 커뮤니케이션즈(줌)가 1억 달러 규모의 새로운 벤처 펀드인 줌 앱스 펀드(Zoom Apps Fund)를 발표했다. 줌 앱스(Zoom Apps), 통합, 개발자 플랫폼, 하드웨어로 구성되는 줌의 생태계 성장을 촉진...
    Date2021.04.20 Bynewsit Reply0 Views10 항목뉴스 file
    Read More
  4. 페이오니아, 러시아·유럽 마켓플레이스 줌(Joom)과 온라인 강의 개최

    - 4월 29일 오후 2시, 한국 셀러 위한 러시아 및 유럽 시장 진출 전략 공유 페이오니아 코리아는 러시아 기반 온라인 마켓플레이스 줌(Joom)과 ‘러시아·유럽 전자상거래 진출을 위한 온라인 강의(웨비나)’를 오는 29일 오후 2시부터 진행한다. 줌은 2016년 유...
    Date2021.04.20 Bynewsit Reply0 Views11 항목뉴스 file
    Read More
  5. 엔비디아, 2D 이미지를 3D 모델로 변환하는 「GANverse3D」 애플리케이션 공개

    엔비디아는 자사의 AI 리서치 랩(AI Research Lab)에서 개발한 GANverse3D 애플리케이션을 공개했다. 이는 평면 이미지를 사실적인 3D 모델로 변환해 가상 환경에서 시각화 및 제어를 가능하게 한다. 건축가, 크리에이터, 게임 개발자, 디자이너가 GANverse3D...
    Date2021.04.19 Bynewsit Reply0 Views10 항목뉴스 file
    Read More
  6. 슈나이더 일렉트릭-케이엠파워 ‘월드IT쇼 2021’ 공동 참가

    - ‘엣지 컴퓨팅’ 환경에 최적화된 IT 인프라 제품 제안 - 에너지절감 및 탄소배출 감축 이슈에 맞춘 에너지관리 솔루션도 선보여 - 데이터센터 기반설비 전문 파트너로서, 동반성장을 위한 상생 파트너십 유지 슈나이더 일렉트릭은 케이엠파워(KM POWER)와 오...
    Date2021.04.19 Bynewsit Reply0 Views6 항목뉴스 file
    Read More
  7. 티맥스티베로, 레노버와 DB 어플라이언스 시장 공략

    - 티맥스티베로의 통합 데이터 솔루션 ‘제타데이터’와 레노버의 하드웨어 결합 예정 - 기술 공유 및 결합 외에도 마케팅, 영업 등 다각도에서의 협업 실시 티맥스티베로가 레노버와 함께 DB 어플라이언스 시장을 공략한다. 티맥스티베로는 레노버 인프라스트럭...
    Date2021.04.19 Bynewsit Reply0 Views7 항목뉴스 file
    Read More
  8. 엔비디아, 아스트라제네카와 새로운 AI 연구 프로젝트 진행..."신경망 아키텍처 트랜스포머(Transformer) 활용"

    엔비디아가 바이오 제약사 아스트라제네카(AstraZeneca), 플로리다대 학술보건센터, UF헬스(UF Health)와 신경망 아키텍처인 트랜스포머(Transformer)를 활용한 새로운 AI 연구 프로젝트를 진행중이라고 밝혔다. <엔비디아 DGX 시스템은 약물 발견을 가속화하...
    Date2021.04.16 Bynewsit Reply0 Views17 항목뉴스 file
    Read More
  9. 사이냅 문서뷰어, "구글 클라우드 앱 다운로드 20만 돌파"

    - 출시 8개월 만…원격 수업 시 한글 문서를 바로 보기 할 수 있어 인기 사이냅소프트는 구글 클라우드 앱 ‘사이냅 문서뷰어 For Google Workspace’의 다운로드 수가 20만 건을 돌파했다고 15일 밝혔다. 지난해 7월 출시된 ‘사이냅 문서뷰어 For Google Workspa...
    Date2021.04.15 Bynewsit Reply0 Views14 항목뉴스 file
    Read More
  10. 한국로봇산업협회, ‘2021 로보월드’ 10월 27일 개최…“20개국 참가 예정”

    산업통상자원부가 주최하고 한국로봇산업협회, 한국로봇산업진흥원, 제어로봇시스템학회가 공동주관하는 ‘2021 로보월드’가 개최 된다. 로봇산업 비즈니스 창출 및 정보 교류 등 로봇산업 활성화의 장이 되는 2021 로보월드는 10월 27일(수)~10월 30일(토), 4...
    Date2021.04.15 Bynewsit Reply0 Views17 항목뉴스 file
    Read More
목록
Board Pagination Prev 1 2 3 4 5 6 7 8 9 10 ... 70 Next
/ 70
CLOSE
gtag('config', 'G-3JH3B23695');