Google, 생성형 AI 동영상 제작모델인 'Lumiere' 공개

Lumiere는 사실적이고 일관된 동작을 생성하며, 시공간 확산 모델을 활용하여 동영상 합성을 개선.

시공간 U-Net 아키텍처 도입

기존 모델보다 적은 이상 현상과 향상된 텍스트-투-비디오 결과를 제공.

추가 기능과 활용성

Lumiere는 동영상 스타일라이제이션, 시네마그래프 기능을 제공하며, 특정 부분을 강조하거나 애니메이션을 적용할 수 있음.

기이함과 광기로 가득한 밈과 짧은 애니메이션을 제작하는 완전히 새로운 방법

방금 무슨 일이 있었나요? 이미지 생성 기술은 최근 몇 년 동안 빠르게 발전해 왔지만, 일관된 비디오 렌더링을 달성하는 것은 최신 AI 모델에게 여전히 어려운 과제입니다. 그럼에도 불구하고 Google은 최근 이 분야에서 괄목할 만한 진전을 보이며 동영상 생성 분야에서 크게 향상된 기술을 선보였습니다.

구글은 최근 동영상 제작을 위한 최신 AI 모델인 뤼미에르(Lumiere)를 공개했습니다. "사실적이고 다양하며 일관된 동작"을 생성하는 것은 항상 AI 기반 동영상 제작의 주요 과제 중 하나였기 때문에 뤼미에르가 동영상 합성을 크게 개선했다고 Google은 설명합니다. 뤼미에는 이 문제를 해결하거나 해결을 시도할 수 있는 시공간 확산 모델을 제공합니다.

마운틴뷰의 최근 제너레이티브 AI 사업 진출은 텍스트-투-비디오 생성, 이미지-투-비디오 렌더링, 스타일화된 생성에 적합합니다. 사용자는 텍스트 프롬프트를 작성하거나, 원본 이미지를 제공하거나(해당 이미지가 얼마나 사실적이고 사실적이거나 편집되었는지에 관계없이), 참조 이미지를 대상 스타일로 사용하여 완전히 새로운 비디오 클립을 만들 수 있습니다.

뤼미에르의 추가 기능에는 소스 비디오를 다양한 재질로 변환하는 비디오 스타일라이제이션과 소스 이미지에서 강조 표시된 제한된 부분에 애니메이션을 적용할 수 있는 시네마그래프가 있습니다. 비디오 인페인팅 기능은 소녀 드레스의 색상, 재질 또는 텍스처를 변경하는 등 소스 비디오의 특정 부분을 변경할 수 있습니다.

(단순 번역으로 오역이 있을수 있습니다 자세한 내용은 원문 참조 부탁드립니다)