OpenAI의 Sora, 텍스트-비디오 AI 생성 모델은 비디오 게임도 렌더링 가능성

https://x.com/andrewwhite01/status/1758347012909474137?s=20

OpenAI의 Sora 비디오 AI 생성 모델은 비디오 게임도 렌더링할 수 있습니다

미 발표의 기술 논문에서는 Sora가 다양한 이미지 및 비디오 편집 작업 수행 가능하며, 최대 1080p 해상도의 동영상 생성 가능.

디지털 세계 시뮬레이션 능력

Sora는 디지털 세계를 시뮬레이션할 수 있는 능력을 갖춤.

한계와 향후 가능성

Sora는 일부 상호 작용의 물리학 근사화에 한계가 있음.

미래에는 텍스트 설명만으로 현실적이고 실사와 유사한 게임 생성 가능성이 있으며, 이로 인해 제한된 액세스 프로그램이 결정됨.

OpenAI의 새로운 첫 번째! - 동영상 생성 모델인 Sora는 정말 인상적인 영화 촬영을 할 수 있습니다. 하지만 오늘 저녁에 발표된 기술 논문에 따르면 이 모델은 OpenAI가 처음에 생각했던 것보다 훨씬 더 뛰어난 성능을 발휘합니다.

"월드 시뮬레이터로서의 비디오 생성 모델"이라는 제목의 이 논문은 여러 명의 OpenAI 연구원이 공동 집필한 것으로, 소라 아키텍처의 주요 측면에 대한 베일을 벗기고 있으며,

예를 들어 소라가 임의의 해상도와 화면비(최대 1080p)의 비디오를 생성할 수 있음을 보여줍니다. 이 백서에 따르면 Sora는 반복 비디오 생성부터 시간 앞뒤로 비디오 확장, 기존 비디오의 배경 변경에 이르기까지 다양한 이미지 및 비디오 편집 작업을 수행할 수 있습니다.

하지만 이 글에서 가장 흥미로운 점은 OpenAI의 공동 저자들이 표현한 것처럼 "디지털 세계를 시뮬레이션"할 수 있다는 점입니다. 한 실험에서 OpenAI는 소라에게 "Minecraft"라는 단어를 입력한 후 플레이어 캐릭터를 제어하는 동시에 마인크래프트와 유사한 HUD와 게임, 그리고 물리학을 포함한 게임의 역학을 그럴듯하게 렌더링하도록 했습니다.

그렇다면 Sora는 어떻게 이런 작업을 수행할 수 있을까요?

Nvidia의 수석 연구원 Jim Fan이 Quartz를 통해 밝힌 바에 따르면, Sora는 크리에이티브보다는 "데이터 기반 물리 엔진"에 가깝습니다. 단순히 하나의 사진이나 비디오를 생성하는 것이 아니라 환경에 있는 각 물체의 물리학을 결정하고 이러한 계산을 기반으로 사진이나 비디오(또는 경우에 따라 인터랙티브 3D 월드)를 렌더링합니다.

"이러한 기능은 비디오 모델의 지속적인 확장이 물리적 및 디지털 세계와 그 안에 존재하는 사물, 동물, 사람의 고기능 시뮬레이터 개발을 향한 유망한 경로임을 시사합니다."라고 OpenAI의 공동 저자들은 말합니다.

이제 소라의 일반적인 한계는 비디오 게임 영역에 적용됩니다. 이 모델은 유리가 깨지는 것과 같은 기본적인 상호 작용의 물리학을 정확하게 근사화할 수 없습니다. 또한 모델링할 수 있는 상호작용이 있더라도 사람이 햄버거를 먹는 모습을 렌더링하지만 물린 자국은 렌더링하지 못하는 등 일관성이 없는 경우가 많습니다.

하지만 제가 논문을 제대로 읽었다면, Sora는 텍스트 설명만으로 더 사실적인, 심지어 실사와 같은 절차적 생성 게임을 만들 수 있는 길을 열 수 있을 것 같습니다. 이는 흥미롭기도 하고 두렵기도 한데(딥페이크의 가능성을 생각해 보면), OpenAI가 현재로서는 매우 제한된 액세스 프로그램 뒤에 Sora를 숨기기로 결정한 이유일 것입니다.

(단순 번역으로 오역이 있을수 있습니다 자세한 내용은 원문 참조 부탁드립니다)