2D 사진을 3D 모델링으로, 엔비디아 'GANverse3D' 공개

▲ 사진 한 장만으로 손쉽게 3d 모델링을 만들 수 있다 (사진출처: 엔비디아 기술 논문)

엔비디아는 19일, 자사 AI 리서치 랩에서 개발한 GANverse3D 애플리케이션을 공개했다. 해당 애플리케이션은 2차원 평면 이미지를 사실적인 3D 모델로 변환해주는 기능이다.

엔비디아는 해당 기술에 대해 "특정 자동차 사진 한 장만으로, 사실적인 전조등, 후미등, 점멸등까지 완비한 3D 모델을 구축해 가상의 장면에서 주행하게 만들 수 있다"라고 설명했다. 이를 통해 건축가, 크리에이터, 게임 개발자, 디자이너들은 3D 모델링 분야에 대한 전문성이나 투자 자본이 없이도 3D 오브젝트를 손쉽게 만들어 추가할 수 있다.

GAN이란 생성적 적대 신경망을 뜻한다. 엔비디아 연구자들은 웹상에서 공개적으로 얻을 수 있는 자동차 이미지와 같은 실세계 데이터에서 다시점 이미지를 얻기 위해 GAN 모델을 활용했다. 이는 GAN 모델의 신경망 레이어를 조작해 데이터 생성기로 변환시키는 방식이다.

자동차 사진을 예로 들면 사진사가 주차된 차량 주변을 걸으며 서로 다른 각도에서 사진을 찍듯 동일한 오브젝트를 다양한 각도에서 묘사하는 이미지들을 합성해 다시점 이미지를 얻고, 2D 이미지에서 3D 메시 모델을 추론하는 프로세스인 역 그래픽(inverse graphics)용 렌더링 프레임워크에 연결했다. GANverse3D는 이러한 훈련을 통해 단일 2D 이미지만으로 3D 메시 모델을 구현할 수 있다. 

AD

이를 통해 자동차와 건물이 포함된 일반 이미지를 3D 모델로 변환할 수 있으며, 동물을 비롯한 무엇이든 표현이 가능하다. 옴니버스에서 해당 3D 모델들의 커스터마이징과 애니메이션 작업을 진행할 수 있다. 또한 오브젝트를 커스터마이징하고 배경을 스왑 아웃할 수 있는 3D 뉴럴 렌더러와 함께 사용할 수도 있다.

엔비디아 측은 "GANverse3D를 엔비디아 옴니버스 플랫폼의 확장기능으로 가져와 엔비디아 RTX GPU로 실행하면 모든 형태의 2D 이미지를 3D로 재현할 수 있다"라며 "일례로 1980년대에 큰 인기를 끌었던 TV 드라마 ‘전격 Z작전’에서 범죄에 맞서 싸우며 대중의 사랑을 한 몸에 받았던 자동차 키트(KITT)도 재현이 가능하다"고 밝혔다.

실제로 드라마 속 키트의 재현을 위해 연구자들은 훈련을 마친 모델에 키트의 이미지를 투입했다. 키트에게 적합한 3D 텍스처를 비롯해 바퀴와 전조등 같은 기타 부위의 예측은 GANverse3D에서 진행됐다. 다음으로 엔비디아 옴니버스 키트(Omniverse Kit)와 엔비디아 PhysX 툴을 사용해 예측 텍스처를 고품질 머티리얼로 변환하여 키트에 보다 사실적 외관과 느낌을 부여했으며, 이를 역동적인 주행 시퀀스 안에 다른 차량들과 함께 배치했다.

프로젝트 책임 저자를 맡은 웬젱 첸(Wenzheng Chen) 엔비디아 연구원은 “3D 에셋의 도움을 받는 대신 GAN 모델을 효율적인 데이터 생성기로 전환해 웹상의 모든 2D 이미지로 3D 오브젝트를 만들 수 있게 됐다”고 설명했다. 준 가오(Jun Gao) 엔비디아 연구원은 “일반적인 파이프라인 대신 합성 데이터를 활용한 실제 이미지로 훈련을 진행하여 AI 모델이 실제 애플리케이션들과 만났을 때 한층 뛰어난 일반화 능력을 보여준다”고 덧붙였다.

한편, GANverse3D 연구 내용은 5월에 개최될 인공지능학회 표현학습국제학회(ICLR)와 6월에 열릴 패턴인식 학술대회(CVPR)에서 소개될 예정이다.