메타 GenAI 리서치 ControlRoom3D 출시, 방 스타일 텍스트 설명으로 고품질 3D 룸 메시를 생성

메타 GenAI 리서치 ControlRoom3D 출시, 방 스타일 텍스트 설명으로 고품질 3D 룸 메시를 생성

빠르게 진화하는 증강 및 가상 현실 영역에서 3D 환경을 제작하는 것은 특히 3D 모델링 소프트웨어의 복잡성으로 인해 매우 어려운 과제입니다. 이러한 상황은 최종 사용자가 게임에서 교육용 시뮬레이션에 이르기까지 다양한 애플리케이션에서 점점 더 중요해지는 개인화된 가상 공간을 제작하는 데 방해가 되는 경우가 많습니다.

이 과제의 핵심은 디테일하고 고품질이며 사실적인 공간 구성을 갖춘 3D 룸 메시를 생성하는 것입니다. 현재의 자동 생성 기술은 이러한 측면에서 종종 실패하여 반복되거나 어색하게 배치된 오브젝트로 인해 일반적인 공간 논리에 어긋나는 방이 생성됩니다. 이 문제는 주로 글로벌한 공간 레이아웃과 디자인 관점이 필요한 로컬 컨텍스트에 초점을 맞춘 반복적인 인페인팅 전략에 의존하기 때문입니다.

이러한 한계에 대한 해결책으로 떠오르고 있는 것이 바로 메타 젠AI, 아헨공과대학교, 뮌헨공과대학교 연구진이 개발한 3D 룸 메시 생성 방식을 혁신적으로 개선한 AI 방식인 ControlRoom3D입니다. 이 방법의 핵심은 3D 시맨틱 프록시 룸이라는 개념으로, 사용자가 시맨틱 바운딩 박스를 사용하여 대략적인 레이아웃을 정의할 수 있는 혁신적인 접근 방식입니다. 이 프록시 룸은 안내 프레임워크 역할을 하여 다양할 뿐만 아니라 사전 정의된 레이아웃과 완벽하게 일치하는 3D 메시를 생성할 수 있게 해줍니다.

ControlRoom3D의 독창성은 다양한 기술 구성 요소를 결합하여 일관되고 그럴듯한 공간 레이아웃을 생성하는 다각적인 접근 방식에 있습니다. 주요 요소 중 하나는 방의 포괄적인 360도 뷰를 구성하는 프로세스인 가이드 파노라마 생성입니다. 이 파노라마 뷰는 방 전체에 일관된 스타일을 설정하는 데 매우 중요하며, 점진적 페인팅에 의존하는 방식에서 흔히 발생하는 스타일 드리프트 문제를 해결합니다.

또 다른 중요한 구성 요소는 지오메트리 정렬 모듈입니다. 이 모듈은 프록시 룸 내 3D 바운딩 박스의 공간 치수를 사용하여 생성된 3D 텍스처를 의도한 룸 레이아웃에 맞게 정렬합니다. 컨트롤룸3D는 이러한 텍스처의 깊이 예측을 최적화하여 최종 메시가 프록시 룸의 지오메트리에 정확하게 정렬되도록 함으로써 룸의 공간 배치의 타당성을 유지합니다.

컨트롤룸3D 방법론의 마지막 단계는 메시 완성입니다. 초기 파노라마 생성 및 지오메트리 정렬 후에는 누락된 영역을 채워 실내 메시를 다듬는 데 중점을 둡니다. 이는 인페인팅 기법과 깊이 정렬을 결합하여 새로운 텍스처를 기존 메시 구조에 원활하게 통합함으로써 달성됩니다. 그 결과 사용자의 설계 의도에 부합하고 구조적 완성도가 높은 완벽한 고해상도 3D 룸 메시가 완성됩니다.

ControlRoom3D의 효율성은 그럴듯한 3D 룸 메시를 생성하는 성능에서 잘 드러납니다. 기존 방식에 비해 레이아웃 타당성, 구조적 완성도, 전반적인 지각 품질에서 우수한 성능을 보여줍니다. 이는 광범위한 사용자 평가와 정량적 지표를 통해 확인되었으며, 기존 룸 메시 생성 방식에 비해 ControlRoom3D의 발전된 성능을 강조합니다.

(단순 번역으로 오역이 있을수 있습니다 자세한 내용은 원문 참조 부탁드립니다)