StreamSpeech: Echtzeit-Übersetzungsmodell für Streaming-Spracheingabe 188

StreamSpeech, ein Echtzeit-Übersetzungsmodell, das Streaming-Spracheingaben ermöglicht und für Offline- sowie synchrone Spracherkennung, Sprachübersetzung und Sprachsynthese verwendet wird. Es kann Sprache in Echtzeitkommunikation sofort in eine andere Sprache übersetzen und gleichzeitig die entsprechende Zielsprache ausgeben.

Es kann Sprache nicht nur in eine andere Sprache übersetzen, sondern den Sprachinhalt auch in Echtzeit als Text transkribieren. Benutzer erhalten die Übersetzungsergebnisse gleichzeitig in Form von Sprache und Text, und der Übersetzungsprozess erfolgt synchron, ohne dass das Ende der gesamten Spracheingabe abgewartet werden muss, wodurch eine verzögerungsarme Echtzeitübersetzung erreicht wird.

StreamSpeech kann während des Übersetzungsprozesses auch Echtzeit-Ergebnisse der Spracherkennung anzeigen, damit Benutzer den Fortschritt der Übersetzung sofort nachvollziehen können.

StreamSpeech lässt sich zudem nahtlos in verschiedene Anwendungen und Geräte integrieren, wie z. B. Übersetzungs-Kopfhörer, Konferenzsysteme, Livestreaming-Plattformen usw., und bietet Benutzern so einen bequemen Übersetzungsservice. Ob auf persönlichen Geräten oder in großen Konferenzsystemen eingesetzt – Simul-S2ST liefert stets eine stabile Leistung.

Anwendungsszenarien von StreamSpeech:

• Einsatz von StreamSpeech für Simultandolmetschen bei internationalen Konferenzen.

• Nutzung von StreamSpeech durch multinationale Unternehmen für Fernkonferenzen, um Echtzeit-Mehrsprachenkommunikation zu ermöglichen.

• Nutzung von StreamSpeech durch Sprachenlernende, um Hör- und Sprechfähigkeiten in verschiedenen Sprachen zu üben.

Highlights von StreamSpeech:

• StreamSpeech erzielt sowohl bei der Offline- als auch bei der synchronen Sprach-zu-Sprache-Übersetzung SOTA-Leistung.

• StreamSpeech führt Streaming-ASR, synchrone Sprach-zu-Text-Übersetzung und synchrone Sprach-zu-Sprache-Übersetzung nahtlos in einem "All-in-One"-Modell durch.

• StreamSpeech kann während des Simultandolmetschens Zwischenergebnisse (d. h. ASR- oder Übersetzungsergebnisse) anzeigen und bietet so ein umfassenderes Kommunikationserlebnis mit niedriger Latenz.

StreamSpeech eignet sich hervorragend für Fachleute, die Echtzeit-Kommunikation über Sprachgrenzen hinweg benötigen. Durch die Reduzierung der Übersetzungslatenz ermöglicht es Menschen mit unterschiedlichem sprachlichen Hintergrund, barrierefreie Echtzeit-Gespräche zu führen."

Offizielle Website:https://ictnlp.github.io/StreamSpeech-site/

Github:https://github.com/ictnlp/StreamSpeech

Paper:https://arxiv.org/abs/2406.03049