KeySync: una herramienta de lip-sync que soluciona la fuga de expresiones y las oclusiones 69

¿Qué es KeySync?

KeySync es una herramienta de sincronización labial recién lanzada, cuya principal ventaja es resolver los problemas de fuga de expresiones y oclusión. Es capaz de asegurar que los movimientos de los labios no se vean afectados por las expresiones de los personajes en el vídeo original, e incluso si la boca está ocluida, no afecta al efecto de sincronización.

KeySync puede procesar vídeos en alta resolución y alinea con precisión los movimientos labiales generados con el nuevo audio, evitando eficazmente el problema de desincronización entre audio e imagen. Su diseño de marco de dos fases mantiene una buena coherencia temporal, haciendo que los cambios de forma de la boca sean naturales y fluidos.

Además, KeySync admite el control del proceso de generación de la animación ajustando parámetros, por ejemplo, se puede especificar la posición del objeto ocluido para lograr efectos personalizados más flexibles.

Características de KeySync

• Sincronización labial en alta resolución: genera movimientos labiales de alta calidad, naturales y fluidos, adaptados a vídeos en alta resolución.

• Procesamiento sin fugas: evita que otras expresiones del vídeo de entrada interfieran con los movimientos labiales, asegurando que los movimientos solo coincidan con el audio.

• Manejo de oclusiones: aborda eficazmente los problemas de oclusión facial mediante una estrategia de enmascaramiento.

• Coherencia temporal: asegura que los movimientos labiales sean coherentes en el tiempo, evitando transiciones antinaturales.

• Capacidad de sincronización cruzada: admite la sincronización labial entre diferentes vídeos y audios.

Principio técnico de KeySync

KeySync adopta un marco de dos fases para generar vídeos con sincronización labial:

• Fase de generación de fotogramas clave: selecciona fotogramas clave del vídeo de entrada y genera movimientos labiales que coinciden con el audio de entrada mediante un modelo de difusión.

• Fase de interpolación: realiza una interpolación entre los fotogramas clave para generar fotogramas intermedios y construir un vídeo completo con sincronización labial.

Además, KeySync ha diseñado una nueva estrategia de enmascaramiento para resolver los problemas de fuga de expresiones y oclusión facial. Esta estrategia determina la región de los labios mediante la detección de puntos de referencia faciales y amplía el área de enmascaramiento para cubrir la barbilla y parte de las mejillas, excluyendo al mismo tiempo la influencia de los objetos oclusivos.

Escenarios de aplicación de KeySync

• Doblaje automático: utilizado para la traducción de idiomas en la producción cinematográfica, generando automáticamente movimientos labiales que coincidan con el nuevo doblaje.

• Realidad Virtual (VR) y Realidad Aumentada (AR): genera movimientos labiales de personajes virtuales o en realidad aumentada, mejorando la sensación de inmersión.

• Videoconferencias: mejora los problemas de sincronización labial bajo latencia de red, aumentando la naturalidad de la comunicación a distancia.

• Producción de animación: genera rápidamente animaciones labiales de personajes, mejorando la eficiencia de producción.

• Localización de contenido multilingüe: genera movimientos labiales coincidentes para doblajes en diferentes idiomas, mejorando el efecto de localización.

Cómo usar KeySync

1. Accede a la página de demostración: abre el enlace https://huggingface.co/spaces/toninio19/keysync-demo

2. Sube archivos: en la página, localiza el área para subir archivos de vídeo y audio, y sube respectivamente tu vídeo (formato .mp4) y tu archivo de audio (formato .wav).

3. Crea el vídeo sincronizado: una vez subidos, haz clic en el botón correspondiente (el botón específico puede variar según el diseño de la página), el sistema comenzará a procesar los archivos subidos y generará el vídeo sincronizado.

4. Visualiza el resultado: una vez completado el procesamiento, podrás ver el vídeo sincronizado generado en la página.

Enlaces del proyecto

• Página del proyecto: https://antonibigata.github.io/KeySync/

• Repositorio del modelo: https://huggingface.co/toninio19/keysync

• Demostración en línea: https://huggingface.co/spaces/toninio19/keysync-demo

• Enlace al artículo: https://arxiv.org/abs/2505.00497