Llasa: Llama-basiertes TTS mit natürlicher, ausdrucksstarker Stimmerzeugung 210

Llasa – Was ist es?

Llasa ist ein Open-Source-Text-to-Speech-System (TTS), das vom Audio Lab der Hong Kong University of Science and Technology entwickelt wurde. Es basiert auf der LLaMA-Architektur und kombiniert die XCodec2-Sprachtoken-Technologie, um hochwertige, natürlich fließende und ausdrucksstarke Sprachausgabe zu erzeugen. Es verbessert die Natürlichkeit, die prosodische Genauigkeit und die emotionale Ausdrucksfähigkeit der Sprachsynthese, mit relativ natürlichen Ergebnissen.

Kernfunktionen von Llasa

• Hochwertige Sprachsynthese: Erzeugt natürlich fließende Sprache, unterstützt Chinesisch und Englisch, mit hervorragender Natürlichkeit und emotionalem Ausdruck.

• Emotionaler Ausdruck: Kann Sprache mit emotionalen Färbungen wie Freude, Trauer oder Wut synthetisieren, wodurch sie lebendiger und natürlicher wirkt.

• Sprachklonung: Bereits mit einer 15-sekündigen Stimmprobe lässt sich eine Stimme hochpräzise klonen, wobei die ursprüngliche Klangfarbe und die emotionalen Merkmale erhalten bleiben.

• Zero-Shot-Lernen: Auch bei unbekannten Sprechern oder Emotionen kann eine Sprachsynthese ohne weiteres Feintuning durchgeführt werden.

• Unterstützung langer Texte: Verarbeitet lange Texteingaben und erzeugt zusammenhängende Sprachausgabe – geeignet für Hörbücher, Sprachansagen und ähnliche Szenarien.

Technische Grundlagen von Llasa

• Architektur: Basiert auf einem Single-Layer-Vektor-Quantisierungs- (VQ) Codec und einer einzelnen Transformer-Architektur und ist vollständig mit dem Standard-LLaMA-Modell kompatibel.

• Sprach-Tokenizer: Verwendet XCodec2, um Sprachwellenformen in diskrete Tokens zu kodieren und dabei semantische sowie akustische Informationen zu erhalten.

• Skalierung von Training und Inferenz: Eine Vergrößerung des Modells (z. B. 1B-, 3B-, 8B-Parameter) oder der Trainingsdatenmenge (z. B. 250.000 Stunden Sprachdaten) verbessert die Natürlichkeit der Sprache und den emotionalen Ausdruck.

• Autoregressive Generierung: Sprach-Tokens werden nacheinander erzeugt, sodass die Sprache semantisch und prosodisch mit dem Eingabetext übereinstimmt.

Modellversionen von Llasa

Llasa ist in Versionen mit 1B-, 3B- und 8B-Parametern erhältlich, unterstützt Chinesisch und Englisch und deckt unterschiedliche Hardware-Ressourcen und Anwendungsszenarien ab.

Anwendungsszenarien von Llasa

Einsetzbar in den Bereichen Virtual Reality, Gaming, Barrierefreiheit, Kundenservice und Bildung sowie ideal für Hörbücher oder Sprachassistenten.

• Intelligente Sprachassistenten: Llasa TTS ermöglicht es intelligenten Geräten oder Software, natürlich fließende Sprachinteraktionen bereitzustellen und so das Nutzererlebnis zu verbessern.

• Hörbücher und Online-Bildung: Es kann Textinhalte in lebendige Sprache umwandeln, die für die Hörbuchproduktion und Online-Bildung genutzt wird, sodass Lernende durch Zuhören lernen können.

• Sprachansagen und Kundenservice: Llasa TTS kann für Nachrichtenansagen, Verkehrsinformationen und Kundenservicesysteme eingesetzt werden und sorgt für eine effizientere Informationsübermittlung.

• Gaming und Unterhaltung: Es ermöglicht die individuelle Sprachausgabe für Charaktere oder Avatare und steigert so das Eintauchen in die Inhalte.

• Werbung und Marketing: Unternehmen können mit Llasa TTS Werbesprache erzeugen und so die Wirkung ihrer Markenkommunikation steigern.

• Sprachklonung und Content-Erstellung: Llasa TTS unterstützt Zero-Shot-Sprachklonung – mit einer Audioprobe von etwa 15 Sekunden lassen sich Klangfarbe und Emotion einer bestimmten Stimme klonen. Dies kann für Werbe-Vertonungen, Videoproduktionen oder die Erstellung personalisierter Sprachinhalte genutzt werden.

GitHub-Repository:https://github.com/zhenye234/LLaSA_training

HuggingFace-Modellbibliothek:https://huggingface.co/collections/HKUSTAudio/llasa

Online-Demo:https://huggingface.co/spaces/srinivasbilla/llasa-3b-tts