Hibiki: High-Fidelity-Echtzeit-Sprachübersetzungsmodell von Kyutai Labs 107

Hibiki ist ein hochwertiges Echtzeit-Sprachübersetzungsmodell, das von Kyutai Labs entwickelt wurde und Französisch sowie Englisch unterstützt. Es kann die Merkmale der Originalstimme bewahren und in Echtzeit übersetzen – man hört und übersetzt gleichzeitig, ähnlich wie beim Simultandolmetschen, und erzeugt sowohl Sprach- als auch Textübersetzungen in Echtzeit.

Funktionsmerkmale von Hibiki:

• Multi-Stream-Architektur für Sprachmodelle: Hibiki verwendet eine Multi-Stream-Architektur, die der von Moshi ähnelt und es ermöglicht, Quell- und Zielsprache gleichzeitig zu verarbeiten sowie eine nahtlose Umwandlung von Sprache zu Sprache (S2ST) und Sprache zu Text (S2TT) durchzuführen.

• Bewahrung der Stimmmerkmale: Ein Highlight des Hibiki-Modells ist, dass die erzeugte Sprache relativ natürlich und fließend klingt und der normalen menschlichen Sprechweise nahekommt.

• Automatische Anpassung der Sprechgeschwindigkeit: Hibiki passt die Sprechgeschwindigkeit der übersetzten Sprache intelligent an den semantischen Inhalt der Ausgangssprache an und gewährleistet so die Flüssigkeit und Genauigkeit der Übersetzung.

• Echtzeitübersetzung: Die Umwandlung von Sprache zu Sprache oder Sprache zu Text kann in sehr kurzer Zeit abgeschlossen werden. Beispielsweise beim Kommunizieren auf einer Reise ins Ausland erhält man nahezu sofort nach Beendigung eines Satzes das übersetzte Ergebnis, das dann abgespielt wird – äußerst praktisch.

• Auf dem Gerät laufendes kleines Modell: Hibiki-M ist eine leichtgewichtige Version von Hibiki mit 1,7 Milliarden Parametern, die in Echtzeit auf mobilen Geräten wie dem iPhone laufen kann, ohne auf Cloud-Verarbeitung angewiesen zu sein – dies zeigt die Fortschrittlichkeit der Modelloptimierungs- und Komprimierungstechniken.

• Adaptive Übersetzung: Hibiki kann Spracheingaben mit verschiedenen Akzenten relativ genau erkennen – sei es standardmäßiges britisches Englisch, amerikanisches Englisch oder regional gefärbtes indisches Englisch.

• Mehrsprachige Unterstützung: Neben Französisch und Englisch lässt sich Hibikis Multi-Stream-Audio-Text-Sprachmodell auch auf andere Sprachen erweitern, was seine Anwendung flexibler und anpassungsfähiger macht.

Technologie von Hibiki:

Hibiki ist ein Dekodierungsmodell, das mithilfe präziser Synchronisationsalgorithmen die Sprache einer Sprache schnell in die Sprache oder den Text einer anderen Sprache übersetzen kann. Das Herzstück dieser Technologie ist das Multi-Stream-Sprachmodell, das während der Spracherkennung und Übersetzung in der Lage ist, Audio- und Textausgaben in Echtzeit zu erzeugen. Darüber hinaus unterstützt Hibiki die Übertragung von Stimmmerkmalen und kann während des Übersetzungsprozesses Tonfall und Emotionen des Sprechers bewahren, sodass die Übersetzung natürlicher und authentischer wirkt.

Allerdings stellt es aufgrund der erforderlichen Übertragung von Sprachdaten und Cloud-Computing höhere Anforderungen an das Netzwerk. Bei schlechtem Netzsignal kann es zu Erkennungsfehlern oder Übersetzungsverzögerungen kommen.

Anwendungsszenarien von Hibiki:

• Geschäftstreffen: Für Geschäftsleute, die international tätig sind, kann Hibiki in Meetings oder bei Geschäftsessen sofortige Übersetzungen bieten und Sprachbarrieren beseitigen.

• Online-Bildung: In Bildungsplattformen kann Hibiki Echtzeit-Sprachübersetzungen bereitstellen und so Studenten mit unterschiedlichem Sprachhintergrund besseres Lernen und Kommunikation ermöglichen.

• Reiseübersetzung: Auf Reisen ins Ausland erleichtert es Touristen die einfache Kommunikation mit Einheimischen, etwa beim Fragen nach dem Weg oder beim Bestellen. Touristen können ihre Bedürfnisse direkt ins Smartphone sprechen und erhalten daraufhin die übersetzte Sprach- oder Textantwort.

• Kommunikation zwischen Arzt und Patient: In Krankenhäusern und ähnlichen Einrichtungen kann Hibiki die Kommunikation zwischen Ärzten und Patienten unterstützen.

GitHub: https://github.com/kyutai-labs/hibiki

HuggingFace: https://huggingface.co/collections/kyutai/hibiki-fr-en-67a48835a3d50ee55d37c2b5

arXiv-Paper: https://arxiv.org/pdf/2502.03382