Phenaki_云技派,专注ai人工智能! 126

Что такое Phenaki?

Phenaki — это проект Google Research, целью которого является синтез реалистичных видео по текстовым описаниям из открытых областей. Он может генерировать видео продолжительностью до нескольких минут непосредственно из текста.

С помощью Phenaki вы также можете создавать видео из статичных изображений и подсказок. Предложенный видеокодер-декодер превосходит все покадровые базовые методы, используемые в настоящее время в литературе, по пространственно-временному качеству и количеству токенов на видео.

Для генерации видеотокенов из текста Phenaki использует двунаправленный маскированный трансформер, обусловленный предварительно вычисленными текстовыми токенами. Сгенерированные видеотокены затем детокенизируются для создания реального видео.

Phenaki является прорывом в области синтеза видео, поскольку может работать с подсказками из открытых областей и переменной длительности, что отличает его от предыдущих методов, ограниченных доступностью данных и вычислительными затратами. Phenaki также может генерировать видео из статичных изображений и подсказок, например, увеличивать глаза кошки или заставлять её зевать. У Phenaki много потенциальных применений, таких как развлечения, образование, повествование и искусство.

Что умеет Phenaki?

Это видео взорвало интернет: Google сделала подделку видео с помощью ИИ слишком реалистичной и простой

Преимущества Phenaki:

Он может генерировать видео различной длины и качества продолжительностью до двух минут

Он может обрабатывать подсказки из открытых областей и переменной длительности, например, истории или описания

Он использует большой корпус пар изображение-текст и небольшое количество примеров видео-текст для обобщения за пределами наборов видеоданных