Veo: мощная генеративная видеомодель от Google 168

Google Veo — это наша самая мощная на сегодняшний день модель генерации видео. Она способна создавать высококачественное видео с разрешением 1080p продолжительностью более одной минуты в самых разных кинематографических и визуальных стилях.

Она точно улавливает нюансы и тональность подсказок и обеспечивает беспрецедентный уровень творческого контроля — понимая подсказки, описывающие различные кинематографические эффекты, такие как замедленная съёмка или воздушная съёмка пейзажей.

Наша модель генерации видео поможет создавать инструменты, которые сделают создание видео доступным каждому. Являетесь ли вы опытным кинематографистом, начинающим автором или педагогом, желающим делиться знаниями, Google Veo открывает новые возможности для повествования, обучения и многого другого.

В ближайшие несколько недель некоторые из этих функций станут доступны избранным авторам через новый экспериментальный инструмент VideoFX на Labs.google. Вы уже можете записаться в лист ожидания.

В будущем мы также внедрим некоторые возможности Google Veo в YouTube Shorts и другие продукты.

Функции и возможности Google Veo:

Лучшее понимание языка и визуальной информации:

Чтобы создавать связные сцены, модели генерации видео должны точно интерпретировать текстовые подсказки и сочетать эту информацию с соответствующими визуальными ориентирами.

Благодаря глубокому пониманию естественного языка и визуальной семантики Google Veo генерирует видео, точно соответствующее подсказке. Она точно улавливает тонкости и интонацию фраз, передавая сложные детали в комплексных сценах.

Кинематографический контроль:

Когда одновременно заданы входное видео и команда редактирования — например, добавить каяк на аэрофотосъёмку береговой линии — Google Veo может применить эту команду к исходному видео и создать новое отредактированное видео.

Кроме того, поддерживается редактирование с помощью масок: при добавлении области маски к видео и текстовой подсказке можно изменять определённые участки видео.

Google Veo также может генерировать видео, принимая в качестве входных данных изображение вместе с текстовой подсказкой. Предоставляя референсное изображение в сочетании с текстовой подсказкой, можно заставить Google Veo создавать видео, следующее стилю изображения и указаниям пользователя.

Модель также способна создавать видеоролики и продлевать их до 60 секунд и даже дольше. Это можно сделать с помощью одной подсказки или серии подсказок, которые вместе рассказывают историю.

Согласованность между кадрами видео

Поддержание визуальной согласованности — серьёзная задача для моделей генерации видео. Персонажи, объекты и даже целые сцены могут мерцать, перескакивать или неожиданно деформироваться между кадрами, нарушая впечатление от просмотра.

Передовая латентная диффузионная трансформерная архитектура Google Veo уменьшает количество подобных несоответствий, удерживая персонажей, предметы и стиль на своих местах — как в реальной жизни.

Основано на многолетних исследованиях в области генерации видео

Google Veo опирается на многолетнюю работу над моделями генерации видео, включая Generative Query Network (GQN), DVD-GAN, Imagen-Video, Phenaki, WALT, VideoPoet и Lumiere, а также нашу архитектуру Transformer и Gemini.

Чтобы помочь Google Veo точнее понимать и выполнять подсказки, мы также добавили больше деталей в субтитры к каждому видео в обучающих данных. Для дальнейшего повышения производительности в модели используется высококачественное сжатое представление видео (так называемые латентные изображения), что также делает её более эффективной. Эти шаги повышают общее качество и сокращают время, необходимое для генерации видео.