V2A: Googles Technologie zur automatischen Erzeugung von mit Videoinhalten synchronem Audio 201

Google DeepMind hat kürzlich eine Technologie namens V2A (Video-to-Audio) veröffentlicht, die in der Lage ist, basierend auf Video-Bildern und Textbeschreibungen automatisch Audio zu erzeugen, das mit dem Videoinhalt synchronisiert ist – also KI-Videos automatisch zu vertonen und mit Musik zu unterlegen. Dadurch können Nutzer über Textbeschreibungen Hintergrundmusik und Umgebungsgeräusche erzeugen, die automatisch eine zum Videoinhalt passende Tonspur generieren. Dazu gehören Hintergrundmusik, Umgebungsgeräusche und sogar Dialoge, die zum Videoinhalt passen.

Modelle zur Videoerzeugung entwickeln sich mit erstaunlicher Geschwindigkeit, doch die aktuellen Videoerzeugungsmodelle können nur stille Ausgaben erzeugen. Die V2A-Technologie ist ein vielversprechender Ansatz, um die erzeugten Filme zum Leben zu erwecken.

Hauptfunktionen von V2A

• Audioerzeugung: V2A kann auf Basis von Videobildern und vom Nutzer bereitgestellten Textbeschreibungen automatisch eine zum Videoinhalt synchronisierte Tonspur erzeugen.

• Synchrones Audio: V2A stellt sicher, dass das erzeugte Audio perfekt mit dem Videoinhalt synchronisiert ist, sodass es keine Verzögerungen oder Versatz zwischen Video und Audio gibt.

• Vielfältige Tonspuren: Nutzer können für jedes Video eine unbegrenzte Anzahl an Audiospuren erzeugen und verschiedene Klangkombinationen ausprobieren.

• Kreative Eingabeaufforderungen: V2A unterstützt „positive Prompts" und „negative Prompts", mit denen Nutzer die erzeugten Audioeffekte präzise steuern können.

• Hochwertiges Audio: Durch die Einbindung detaillierter Klangbeschreibungen und Dialogtranskripte während des Trainings sind die erzeugten Tonspuren realistisch und ausdrucksstark.

• Automatisierte Verarbeitung: Das V2A-System erfordert kein manuelles Abgleichen des erzeugten Klangs mit dem Video und reduziert so die mühsame Arbeit der Abstimmung von Audio-, Bild- und Zeitelementen.

Funktionsweise von V2A

• Eingabe von Video und Textbeschreibung: Der Nutzer liefert ein Video und eine Textbeschreibung als Eingabe.
  

• Video-Codierung: Das System wandelt das Video in ein Format um, das von der KI verarbeitet werden kann.

• Audioerzeugung: Das KI-Modell beginnt mit zufälligem Rauschen und erzeugt schrittweise Audio, das zum Video und zur Textbeschreibung passt.

• Zusammenführen von Audio und Video: Das erzeugte Audio wird mit dem Video kombiniert, um eine vollständige Audio-Video-Datei zu bilden.

• Anpassung und Steuerung: Nutzer können zusätzliche Prompts zur Feinabstimmung bereitstellen, um besonderen Anforderungen gerecht zu werden.

Entwicklung der V2A-Technologie

Obwohl die V2A-Technologie bereits großes Potenzial gezeigt hat, arbeitet das DeepMind-Team weiterhin an der Verbesserung und Verfeinerung dieser Technologie. Die aktuellen Forschungsrichtungen und Verbesserungsziele umfassen:

Verbesserung der Audioausgabequalität: Sicherstellung einer konsistenten und hochwertigen Audioausgabe bei verschiedenen Videoqualitäten.

Verbesserung der Lippensynchronität: Verbesserung der Lippensynchronität in Dialogvideos, um sicherzustellen, dass die erzeugte Sprache perfekt mit den Lippenbewegungen der Charaktere synchronisiert ist.

Umgang mit Videoverzerrungen: Lösung von Problemen bei der Audioerzeugung, wenn das Video verzerrt ist oder der Inhalt außerhalb der Trainingsdatenverteilung des Modells liegt.

Sicherheit und Transparenz: Durchführung strenger Sicherheitsbewertungen und Tests, um die Sicherheit und Transparenz der Technologie zu gewährleisten.

Die Einsatzmöglichkeiten von V2A sind breit gefächert und reichen von der Erstellung von Social-Media-Inhalten bis hin zum Audio-Design für Filme und Werbung – mit nahezu unbegrenzten Möglichkeiten.

Das Besondere an der V2A-Technologie ist, dass sie die ursprünglichen Pixel im Video verstehen und den erzeugten Klang automatisch mit dem Video synchronisieren kann. Derzeit versucht V2A, durch eingegebene Dialogtexte Sprache zu erzeugen, die mit den Lippenbewegungen der Charaktere synchron ist, allerdings stimmt die Mundbewegung im Video manchmal nicht vollständig mit der erzeugten Sprache überein. DeepMind arbeitet daran, diesen Aspekt zu verbessern.

Details: https://deepmind.google/discover/blog/generating-audio-for-video/