엔비디아, 영상 보고 3D 텍스처 만드는 AI '뉴럴란젤로' 발표

▲ 뉴럴란젤로로 구현한 실내 3D 텍스처 (사진출처: 뉴럴란젤로 소개 영상 갈무리)

엔비디아가 2일, 2D 영상 속에서 3D 텍스처를 구성하는 새로운 AI 모델 뉴럴란젤로(Neuralangelo)를 발표했다. 

뉴럴란젤로는 미켈란젤로가 대리석 블록으로 실제와 같은 멋진 작품을 조각한 것처럼, 2D 비디오 클립 속에서 복잡한 디테일과 텍스처를 가진 3D 구조를 생성한다. 이렇게 생성된 건물이나 조각품 등의 3D 객체는 디자인 애플리케이션으로 가져올 수 있으며, 예술, 게임 개발, 로보틱스 및 산업용 디지털 트윈에 사용할 수 있게 추가 편집이 가능하다.

이전에도 2D 이미지나 영상에서 3D 장면을 재구성하는 AI 모델이 없었던 것은 아니지만, 반복적인 텍스처 패턴, 균일한 색상 및 강한 색상 변화를 정확하게 캡처하는 데 어려움을 겪었다. 뉴럴란젤로는 미세한 디테일을 캡처하는 데 도움이 되는 즉각적인 뉴럴 그래픽 프리미티브(primitives) 기술인 엔비디아 인스턴트 NeRF(Instant NeRF)을 채택했다. 각 프레임의 카메라 위치가 결정되면 조각가가 피사체의 모양을 깎기 시작하는 것처럼 장면의 대략적인 3D 묘사를 생성하고, 마치 조각가가 천이나 인물의 질감을 모방하기 위해 돌을 정성스럽게 다듬는 것처럼 모델이 렌더링을 최적화해 디테일을 선명하게 구성한다.

공개된 영상에서는 지붕 널, 유리창, 매끄러운 대리석, 건물 내/외부, 엔비디아 베이 에어리어(Bay Area) 캠퍼스에 있는 공원, 미켈란젤로의 다비드처럼 상징적인 물체부터 플랫베드 트럭처럼 흔한 물체까지 다양한 텍스처를 2D 비디오에서 3D 에셋으로 변환시키는 장면이 그려진다. 엔비디아 측은 스마트폰으로 캡처한 영상을 사용해 프로젝트에 사용할 수 있는 가상 객체를 더 수월하게 3D로 재구성할 수 있다고 설명했다.

논문 공동 저자이자 연구 수석 디렉터인 리우 밍 유(Ming-Yu Liu)는 "뉴럴란젤로가 제공하는 3D 재구성 기능은 크리에이터가 디지털 세계에서 현실 세계를 재현하는 데 큰 도움이 될 것이다. 개발자는 이 툴을 통해 작은 조각상이나 거대한 건물 등 세부적인 객체를 게임이나 산업용 디지털 트윈을 위한 가상 환경으로 가져올 수 있게 될 것"이라고 말했다.

뉴럴란젤로는 컴퓨터 비전 및 패턴 인식 콘퍼런스(CVPR)에서 발표될 약 30개의 엔비디아 리서치 프로젝트 중 하나다. CVPR은 6월 18일부터 22일까지 캐나다 밴쿠버에서 열린다.

▲ 뉴럴란젤로 시연 영상 (영상출처: 엔비디아 공식 유튜브 채널)