Lumiere: генерация целого видео за один проход 128

Lumiere — это модель диффузии «текст в видео», основанная на пространственно-временном подходе, разработанная командой Google Research. Lumiere использует инновационную пространственно-временную архитектуру U-Net, которая генерирует всё видео целиком за один проход через модель, в отличие от других моделей, синтезирующих видео покадрово. Благодаря этому обеспечивается согласованность и реалистичность сгенерированного видео, Lumiere легко справляется с широким спектром задач по созданию контента и редактированию видео, включая преобразование изображения в видео, видеоинпейнтинг и стилизацию.

Функциональные особенности Lumiere:

• Диффузионная модель «текст в видео»: Lumiere способна генерировать видео по текстовым подсказкам, обеспечивая прямое преобразование текстового описания в видеоконтент.

• Изображение в видео: модель плавно преобразует неподвижное изображение в видео, обусловливая процесс на первом кадре.

• Пространственно-временная архитектура U-Net: в отличие от других моделей, которым требуется поэтапный синтез видео, Lumiere способна создать всё видео целиком за один проход. Эта уникальная архитектура позволяет Lumiere генерировать всю временную длительность видео за один раз, в отличие от других моделей, синтезирующих видео покадрово.

• Глобальная временная согласованность: благодаря особенностям своей архитектуры Lumiere легче достигает глобальной временной согласованности видеоконтента, обеспечивая связность и реалистичность видео.

• Многоуровневая пространственно-временная обработка: Lumiere обучается генерировать видео напрямую, обрабатывая его на нескольких пространственно-временных масштабах — это передовой подход.

• Стилизованная генерация видео: используя одно эталонное изображение, Lumiere может генерировать видео в заданном стиле — эта возможность встречается у других моделей генерации видео довольно редко.

• Широкий спектр задач по созданию контента и редактированию видео: Lumiere поддерживает множество задач по созданию контента и редактированию видео, таких как преобразование изображения в видео, видеоинпейнтинг и стилизация.

• Стилизованное редактирование видео: используя методы редактирования изображений на основе текста, Lumiere может выполнять согласованное стилизованное редактирование видео.

• Возможности синтеза изображений: когда часть изображения остаётся неподвижной, а другая часть находится в движении, можно добиться эффекта локального движения, придавая неподвижному изображению завораживающую выразительность.

• Функция видеоинпейнтинга: Lumiere может анимировать любые области существующего видео, заданные маской, на основе текстовой подсказки. Это открывает интересные возможности для редактирования видео, вставки и/или удаления объектов.

Несмотря на эти достижения, Lumiere по-прежнему ограничена в работе с видео, требующими переходов между различными сценами и планами. Этот разрыв в возможностях задаёт важное направление для будущих исследований в области диффузионных моделей.