KeySync: Ein Lip-Sync-Tool, das Expression Leakage und Verdeckungen löst 66

Was ist KeySync?

KeySync ist ein neu eingeführtes Lip-Sync-Tool, dessen größter Vorteil darin besteht, das Problem des Ausdruckslecks (Expression Leakage) und der Verdeckung zu lösen. Es stellt sicher, dass die Lippenbewegungen nicht von den Gesichtsausdrücken der Personen im ursprünglichen Video beeinflusst werden – selbst wenn der Mundbereich verdeckt ist, hat dies keine Auswirkungen auf die Synchronisationsqualität.

KeySync kann hochauflösende Videos verarbeiten und die erzeugten Lippenbewegungen präzise an die neue Audiospur anpassen, wodurch eine Asynchronität zwischen Bild und Ton effektiv vermieden wird. Das zugrunde liegende Zwei-Stufen-Framework gewährleistet eine gute zeitliche Kohärenz und sorgt für natürlich fließende Mundbewegungen.

Darüber hinaus unterstützt KeySync die Steuerung des Animationsgenerierungsprozesses über Parameter – so lässt sich beispielsweise die Position verdeckender Objekte angeben, was eine flexible Individualisierung ermöglicht.

Funktionsmerkmale von KeySync

• Lip-Sync in hoher Auflösung: Erzeugt hochwertige, natürlich fließende Lippenbewegungen, geeignet für hochauflösende Videos.

• Verarbeitung ohne Ausdruckslecks: Verhindert, dass andere Gesichtsausdrücke aus dem Eingangsvideo die Lippenbewegungen stören, sodass die Bewegungen ausschließlich zur Audiospur passen.

• Verdeckungsbehandlung: Bewältigt Gesichtsverdeckungen effektiv durch eine Maskierungsstrategie.

• Zeitliche Konsistenz: Stellt sicher, dass die Lippenbewegungen über die Zeit hinweg kohärent bleiben und unnatürliche Übergänge vermieden werden.

• Cross-Synchronisation: Unterstützt die Lippen-Synchronisation zwischen verschiedenen Videos und Audiospuren.

Technische Funktionsweise von KeySync

KeySync verwendet ein Zwei-Stufen-Framework zur Erzeugung von Lip-Sync-Videos:

• Schlüsselbild-Generierung: Aus dem Eingangsvideo werden Schlüsselbilder ausgewählt, und mithilfe eines Diffusionsmodells werden zur Eingangsaudiospur passende Lippenbewegungen erzeugt.

• Interpolationsphase: Zwischen den Schlüsselbildern wird interpoliert, um Zwischenbilder zu erzeugen und so das vollständige Lip-Sync-Video aufzubauen.

Zusätzlich entwickelt KeySync eine neuartige Maskierungsstrategie, um das Problem des Ausdruckslecks und der Gesichtsverdeckung zu lösen. Diese Strategie bestimmt den Lippenbereich über die Erkennung von Gesichtslandmarken, erweitert den maskierten Bereich, um Kinn und Teile der Wangen abzudecken, und schließt gleichzeitig den Einfluss verdeckender Objekte aus.

Anwendungsbereiche von KeySync

• Automatisierte Synchronisation: Einsatz bei der Übersetzung in Film- und Videoproduktionen, um automatisch zur neuen Tonspur passende Lippenbewegungen zu erzeugen.

• Virtual Reality (VR) und Augmented Reality (AR): Erzeugung von Lippenbewegungen virtueller Charaktere oder in AR-Anwendungen zur Steigerung der Immersion.

• Videokonferenzen: Verbesserung der Lippensynchronisation bei Netzwerklatenz und damit natürlicheren Fernkommunikation.

• Animationsproduktion: Schnelle Erzeugung von Lippenanimationen für Charaktere und damit Steigerung der Produktionseffizienz.

• Lokalisierung mehrsprachiger Inhalte: Erzeugung passender Lippenbewegungen zu Synchronisationen in verschiedenen Sprachen zur Verbesserung der Lokalisierungsqualität.

Verwendung von KeySync

1. Demo-Seite aufrufen: Öffne den Link https://huggingface.co/spaces/toninio19/keysync-demo

2. Dateien hochladen: Suche auf der Seite den Bereich zum Hochladen von Video- und Audiodateien und lade dein Video (.mp4) sowie die Audiodatei (.wav) hoch.

3. Synchronisiertes Video erstellen: Klicke nach dem Hochladen auf die entsprechende Aktionsschaltfläche (je nach Seitengestaltung kann diese variieren). Das System beginnt mit der Verarbeitung der hochgeladenen Dateien und erzeugt das synchronisierte Video.

4. Ergebnis ansehen: Nach Abschluss der Verarbeitung kannst du das erzeugte synchronisierte Video auf der Seite ansehen.

Projektlinks

• Projektseite: https://antonibigata.github.io/KeySync/

• Modell-Repository: https://huggingface.co/toninio19/keysync

• Online-Demo: https://huggingface.co/spaces/toninio19/keysync-demo

• Paper-Link: https://arxiv.org/abs/2505.00497