Voicebox: generatives KI-Sprachmodell für Sprachgenerierungsaufgaben 158

Voicebox, ein fortschrittliches generatives KI-Sprachmodell, das von Meta ai entwickelt wurde, kann Sprachgenerierungsaufgaben wie Bearbeitung, Sampling und Stilübertragung ausführen, wurde jedoch nicht speziell darauf trainiert, diese Aufgaben durch In-Context-Lernen zu bewältigen.

Voicebox kann hochwertige Audioausschnitte erzeugen und bereits aufgenommene Audios bearbeiten (z. B. Autohupen oder Hundegebell entfernen), wobei der Inhalt und der Stil des Audios erhalten bleiben. Das Modell ist außerdem mehrsprachig und kann Sprache in sechs Sprachen erzeugen.

Funktionsmerkmale von Voicebox:

Die Vielseitigkeit von Voicebox ermöglicht eine Vielzahl von Aufgaben, darunter:

• In-Context-Text-zu-Sprache-Synthese: Mit nur zwei Sekunden Audio-Ausgangsmaterial kann Voicebox den Stil des Synchronisationsaudios nachahmen und für die Text-zu-Sprache-Generierung verwenden.

• Sprachbearbeitung und Rauschunterdrückung: Voicebox kann durch Geräusche unterbrochene Sprachabschnitte neu erstellen oder falsch ausgesprochene Wörter ersetzen, ohne die gesamte Aufnahme wiederholen zu müssen. Beispielsweise können Sie einen durch Hundegebell unterbrochenen Sprachabschnitt identifizieren, ihn zuschneiden und Voicebox anweisen, dieses Fragment neu zu generieren – wie ein Radiergummi für die Audiobearbeitung.

• Sprachübergreifende Stilübertragung: Wenn Voicebox eine Stimmprobe einer Person und einen Text auf Englisch, Französisch, Deutsch, Spanisch, Polnisch oder Portugiesisch erhält, kann es den Text in jeder dieser Sprachen vorlesen, selbst wenn die Stimmprobe und der Text in unterschiedlichen Sprachen vorliegen. Diese Funktion könnte in Zukunft dazu genutzt werden, Menschen auf natürliche und authentische Weise kommunizieren zu lassen, auch wenn sie unterschiedliche Sprachen sprechen.

• Vielfältiges Stimm-Sampling: Nach dem Training mit vielfältigen Daten kann Voicebox Stimmen erzeugen, die besser widerspiegeln, wie Menschen in der realen Welt sowie in den oben genannten sechs Sprachen sprechen.

Vorteile von Voicebox:

• Fortschrittliche Werkzeuge zur Rauschunterdrückung und Stilübertragung verbessern die Audioqualität und Vielseitigkeit.

• Das umfangreiche Training mit über 50.000 Stunden Sprachdaten gewährleistet eine hohe Genauigkeit und einen natürlichen Klang der Stimme.

• Die Fähigkeit, sechs verschiedene Sprachen zu verwenden, macht es zur idealen Wahl für globale Anwendungen und sprachübergreifende Aufgaben.

Nachteile von Voicebox:

• Die eingeschränkte Verfügbarkeit aufgrund potenziellen Missbrauchs kann den Zugang für legitime Nutzer und Entwickler einschränken.

In Zukunft könnten vielseitige generative KI-Modelle wie Voicebox virtuellen Assistenten und Nicht-Spieler-Charakteren in Metaversen eine natürliche Stimme verleihen. Sie könnten sehbehinderten Menschen ermöglichen, geschriebene Nachrichten von Freunden von einer KI in gesprochener Sprache zu hören, und Kreativen neue Werkzeuge bieten, um Video-TonSpuren einfach zu erstellen und zu bearbeiten, und vieles mehr.

Voicebox ist ein wichtiger Schritt nach vorn in unserer Forschung zu generativer KI, und wir freuen uns darauf, die Erkundung im Audiobereich fortzusetzen und zu sehen, wie andere Forscher auf unserer Arbeit aufbauen werden.