Google은 일관된 비디오 생성의 새로운 지평을 여는 VideoPOET를 출시했습니다

해외 기사를 번역기로 번역 하였습니다 오역이 있을수 있으니 원문을 참고 하세요

텍스트 프롬프트에서 10초짜리 비디오 클립을 생성하고 정지 이미지에 애니메이션을 적용할 수도 있습니다.

이전 제품과 달리 VideoPoet은 일관된 대형 모션 비디오 생성에 탁월하다는 점에서 차별화됩니다. 이 모델은 Gen-2를 포함한 경쟁사를 제치고 10초 길이의 비디오를 제작하여 그 기량을 선보였습니다. 특히 VideoPoet은 비디오 생성을 위해 특정 데이터에 의존하지 않으므로 최적의 결과를 위해 세부적인 입력이 필요한 다른 모델과 구별됩니다.

이러한 다각적인 기능은 다중 모드 대형 모델을 활용하여 잠재적으로 비디오 생성의 주류가 될 수 있는 궤도를 설정함으로써 가능해졌습니다.

Google의 VideoPOET는 주로 확산 기반 접근 방식에 의존하는 비디오 생성 모델의 일반적인 추세에서 벗어났습니다. 대신 VideoPoet은 LLM(대형 언어 모델)의 기능을 활용합니다. 이 모델은 단일 LLM 내에서 다양한 비디오 생성 작업을 원활하게 통합하므로 각 기능에 대해 별도로 훈련된 구성 요소가 필요하지 않습니다.

결과 비디오는 입력된 텍스트 콘텐츠에 따라 다양한 길이와 다양한 동작 및 스타일을 보여줍니다. 또한 VideoPoet은 제공된 프롬프트를 기반으로 입력 이미지를 애니메이션으로 변환하여 다양한 입력에 대한 적응성을 보여줄 수 있습니다.