StreamV2V: herramienta de código abierto para intercambio de rostros y transferencia de estilo en vídeo en tiempo real 196

StreamV2V: una herramienta de código abierto para la conversión de vídeo en tiempo real, que permite el reemplazo de caras en vídeo y la conversión de estilo en tiempo real. StreamV2V es capaz de realizar la conversión de vídeo a vídeo en tiempo real en una GPU RTX 4090, alcanzando una velocidad de procesamiento de 20 FPS.

Al ser streaming, StreamV2V puede soportar vídeos de duración ilimitada y permite controlar el vídeo en tiempo real mediante prompts. Para ello, mantiene un banco de características que guarda la información de los fotogramas pasados; cuando llega un nuevo fotograma, el modelo utiliza las características de este banco para ayudar a generar la salida, como si estuviera mirando al pasado.

StreamV2V es capaz de procesar entradas de streaming: el vídeo de entrada puede ser un flujo de vídeo en tiempo real, como por ejemplo el flujo de vídeo transmitido desde una cámara web.

StreamV2V permite sustituir las caras de las personas en un vídeo por las de otras personas, y también transformar el vídeo en diferentes estilos artísticos, entre ellos:

Estilo de animación con plastilina: procesa el vídeo para obtener un efecto similar al de la animación con plastilina.

Estilo artístico de garabatos: transforma el vídeo en un efecto artístico similar a un garabato dibujado a mano.

Web oficial de StreamV2V: https://jeff-liangf.github.io/projects/streamv2v/

GitHub: https://github.com/Jeff-LiangF/streamv2v