Kyutai TTS: Ein Open-Source-TTS-Tool für Echtzeitanwendungen 74

小编 · 2025-07-05

Kyutai TTS ist ein von Frankreichs Kyutai Labs entwickeltes Open-Source-TTS-Modell für Echtzeitanwendungen. Mit 1,6 Mrd. Parametern erreicht es Wortfehlerraten von 2,82 % im Englischen und 3,29 % im Französischen bei einer Sprachgenerierungslatenz von nur 220 ms – ideal für Livestreaming und Sprachassistenten. Streaming- und Low-Latency-Modellierung sorgen für effizientere Text-to-Speech-Generierung.

Kyutai TTS: Ein Open-Source-TTS-Tool für Echtzeitanwendungen

Kyutai TTS ist ein von den französischen Kyutai Labs entwickeltes Open-Source-Text-to-Speech-Modell, das speziell für Echtzeitanwendungen konzipiert ist. Es verfügt über 1,6 Mrd. Parameter, die Wortfehlerraten für Englisch und Französisch betragen 2,82 % bzw. 3,29 %, und die Latenz bei der Spracherzeugung liegt bei nur 220 Millisekunden, was es ideal für Szenarien wie Livestreaming und Sprachassistenten macht. Seine Streaming-Verarbeitung und Delayed-Stream-Modeling-Technologie sorgen für eine effizientere Text- und Spracherzeugung.

Kyutai TTS: Open-Source-Text-to-Speech-Tool, speziell für Echtzeitszenarien entwickelt

Technische Merkmale:

Streaming und geringe Latenz: Kyutai TTS kann sofort nach Empfang des ersten Text-Tokens Audio erzeugen, mit einer Latenz von nur 220 Millisekunden. Bei der Verarbeitung von 32 Anfragen auf einer NVIDIA L40S GPU beträgt die Latenz etwa 350 Millisekunden.

Hochpräzise Sprachausgabe: Die Wortfehlerraten für Englisch und Französisch liegen bei 2,82 % bzw. 3,29 %, die Sprecherähnlichkeit erreicht 77,1 % bzw. 78,7 %. Die Sprache klingt natürlich und kommt den Originalaufnahmen sehr nahe.

Erzeugung langer Inhalte: Kann lange Texte verarbeiten und überwindet die 30-Sekunden-Beschränkung herkömmlicher TTS-Modelle.

Stimmklonung: Der Benutzer stellt eine 10-sekündige Audioaufnahme bereit, und das Modell kann den Stimmklang, den Tonfall usw. des Sprechers nachbilden. Um die Rechtmäßigkeit sicherzustellen, bietet Kyutai TTS eine Stimmbibliothek auf Basis öffentlicher Datensätze an und veröffentlicht kein direktes Stimm-Embedding-Modell.

Wort-Zeitstempel: Jedes Wort im erzeugten Audio verfügt über präzise Zeitstempel, was die Echtzeit-Untertitelgenerierung oder interaktive Anwendungen erleichtert.

Architektur und Training:

Delayed-Stream-Modeling (DSM): Das Modell kann Sprache in Echtzeit erzeugen, während es Text empfängt, unterstützt Streaming-Text-Eingaben und kann mehrere Anfragen gleichzeitig verarbeiten.
Trainingsdaten und Hardware: Trainiert mit 2,5 Millionen Stunden öffentlich verfügbarer Audiodaten, Transkriptionen wurden von Whisper erzeugt. Für das Training wurden 32 H100-GPUs verwendet.

Anwendungsszenarien:

Echtzeit-Interaktion: Geeignet für virtuelle Assistenten, Online-Bildungsplattformen und Echtzeit-Untertitelgenerierung.
Inhaltserstellung: Kann zur Erzeugung langer Inhalte wie Podcasts und Hörbücher verwendet werden.
Hilfswerkzeuge: Bietet hochwertige Text-zu-Sprache-Dienste für sehbehinderte Menschen.

Vergleich mit anderen TTS-Systemen:

Im Vergleich zu anderen TTS-Modellen auf dem Markt schneidet Kyutai TTS in Bezug auf Wortfehlerrate und Sprecherähnlichkeit hervorragend ab und ist besonders in Echtzeit-Interaktionsszenarien leistungsstark.

Kyutai TTS ist unter der CC-BY-4.0-Lizenz Open Source. Quellcode und Gewichte sind auf GitHub und Hugging Face verfügbar. Entwickler können durch das Spenden von Stimmdaten dazu beitragen, das Modell um weitere Stimmstile und Sprachen zu erweitern.

Projektadresse: https://kyutai.org/next/tts