Phenaki_云技派,专注ai人工智能! 129

¿Qué es Phenaki?

Phenaki es un proyecto de Google Research cuyo objetivo es sintetizar vídeos realistas a partir de descripciones de texto de dominio abierto. Puede generar vídeos de hasta varios minutos directamente a partir de texto.

Con Phenaki, también puede generar vídeos a partir de imágenes fijas y consignas. El codificador-decodificador de vídeo propuesto supera a todas las líneas base por fotograma utilizadas actualmente en la literatura en términos de calidad espacio-temporal y número de tokens por vídeo.

Para generar los tokens de vídeo a partir del texto, Phenaki utiliza un transformador de máscara bidireccional condicionado por tokens de texto precalculados. Los tokens de vídeo generados se des-tokenizan posteriormente para crear el vídeo real.

Phenaki es un avance en el campo de la síntesis de vídeo porque puede manejar consignas de dominio abierto y de duración variable, a diferencia de los métodos anteriores que estaban limitados por la disponibilidad de datos y el coste computacional. Phenaki también puede generar vídeos a partir de imágenes fijas y consignas, por ejemplo, ampliar los ojos de un gato o hacer que bostece. Phenaki tiene muchas aplicaciones potenciales, como el entretenimiento, la educación, la narración de historias y el arte.

¿Qué puede hacer Phenaki?

Este vídeo se hizo viral en internet: Google ha facilitado y hecho demasiado realista la creación de vídeos falsos con IA

Ventajas de Phenaki:

Puede generar vídeos de duración y calidad variables, de hasta dos minutos de longitud

Puede manejar consignas de dominio abierto y de duración variable, como historias o descripciones

Aprovecha un gran corpus de pares imagen-texto y un pequeño número de ejemplos de vídeo-texto para generalizar fuera de los conjuntos de datos de vídeo