Spatial Speech Translation: Ein sprachübergreifendes Sprachübersetzungsprojekt 61

Was ist Spatial Speech Translation?

Spatial Speech Translation ist ein praktisches Projekt zur sprachübergreifenden SprachÜbersetzung in räumlichen Kontexten. Mithilfe von binauralen Wearables ermöglicht es Sprachübersetzung unter Bedingungen mit mehreren Sprechern und Störgeräuschen und bewahrt dabei die ursprüngliche Richtungswahrnehmung des Klangs. Das Projekt unterstützt Echtzeit-Sprachübersetzung und ermöglicht schnelle Inferenz auf dem Apple-M2-Chip. Darüber hinaus bleiben während des Übersetzungsprozesses der Tonfall und die Emotionen des Sprechers erhalten, sodass die übersetzte Stimme natürlicher und flüssiger klingt.

Hauptfunktionen von Spatial Speech Translation

• Sprachtrennung und Übersetzung mehrerer Sprecher: Kann Zielstimmen unter Bedingungen mit mehreren Sprechern und Störungen genau trennen und übersetzen.

• Echtzeit-Sprachübersetzung: Unterstützt Echtzeitbetrieb auf Apple-Chips und bietet ein Übersetzungserlebnis mit geringer Latenz.

• Erhaltung räumlicher Hinweise: Bewahrt durch binaurale Rendering-Technologie die räumlichen Hinweise (wie Richtung und Entfernung) der Eingabestimme in der übersetzten Ausgabestimme.

• Mehrsprachige Unterstützung: Bietet ein Übersetzungsmodell von Französisch nach Englisch und plant die Erweiterung auf Deutsch, Spanisch und weitere Sprachen.

• Ausdrucksstarke Sprachübersetzung: Unterstützt Übersetzungen, die den Tonfall und die Emotionen des Sprechers bewahren, sodass die übersetzte Stimme ausdrucksstärker klingt.

Technische Umsetzung von Spatial Speech Translation

• Gemeinsames Trenn- und Lokalisierungsmodell: Durch das Training von Trenn- und Lokalisierungsmodellen können die Stimmen verschiedener Sprecher erkannt und ihre räumliche Position bestimmt werden.

• Streaming-Sprachverarbeitung: Basiert auf der StreamSpeech-Technologie und unterstützt Echtzeit-Streaming-Spracheingabe und -Übersetzung.

• Binaurales Rendering: Nutzt die Eigenschaften binauraler Wearables, um eine räumliche Ausgabe der übersetzten Stimme zu ermöglichen.

• Mehrstufiger Trainingsprozess: Umfasst Vortraining, trennungswahrnehmende Feinabstimmung und Erzeugung ausdrucksstarker Sprache, um die Leistung und Anpassungsfähigkeit des Modells zu verbessern.

So verwenden Sie Spatial Speech Translation

• Umgebungseinrichtung: Installieren Sie die erforderlichen Abhängigkeiten über Conda und pip, einschließlich der für Sprachtrennung, Streaming-Sprachverarbeitung und binaurales Rendering benötigten Werkzeuge.

• Modelltraining: Bietet detaillierte Trainingsschritte, einschließlich des Trainings des Trenn- und Lokalisierungsmodells sowie des Vortrainings und der Feinabstimmung des Sprachübersetzungsmoduls.

• Inferenz und Bewertung: Unterstützt die Übersetzung der getrennten Stimme und stellt Bewertungsskripte zur Verfügung, um die Leistung des Modells zu überprüfen.

Vorteile und Innovationen

• Unterstützung mehrerer Sprecher: Erstmals Sprachübersetzung in Umgebungen mit mehreren Sprechern realisiert.

• Erhaltung räumlicher Hinweise: Bietet durch binaurale Rendering-Technologie ein immersives Sprachübersetzungserlebnis.

• Echtzeitfähigkeit: Unterstützt Echtzeit-Sprachübersetzung und eignet sich für dynamische Kommunikationsszenarien.

• Ausdrucksstarke Übersetzung: Bewahrt den Tonfall und die Emotionen des Sprechers und sorgt für eine natürlichere Übersetzung.

Anwendungen von Spatial Speech Translation

• Internationale Konferenzen und Geschäftsveranstaltungen: Auf internationalen Konferenzen, Geschäftsverhandlungen oder Seminaren kommen die Teilnehmer aus verschiedenen Ländern und sprechen unterschiedliche Sprachen. Mit binauralen Geräten können alle die übersetzte Stimme in Echtzeit hören und gleichzeitig die Richtung und Entfernung der Sprecher wahrnehmen.

• Tourismus und kulturelle Erlebnisse: Wenn Touristen historische Stätten, Museen besuchen oder an kulturellen Veranstaltungen teilnehmen, können sie mit binauralen Geräten in Echtzeit übersetzte Erklärungen hören und gleichzeitig die räumliche Position der Stimme des Reiseleiters erkennen.

• Fernkonferenzen und Zusammenarbeit: In Fernkonferenzen befinden sich die Teilnehmer an verschiedenen Orten und sprechen unterschiedliche Sprachen. Durch binaurale Sprachübersetzungstechnologie können alle die übersetzte Stimme in Echtzeit hören und die Position des Sprechers im virtuellen Raum wahrnehmen.

• Bildung und Schulung: In mehrsprachigen Bildungsumgebungen können Schüler mit binauralen Geräten in Echtzeit die übersetzten Erklärungen des Lehrers hören und gleichzeitig die Richtung und Entfernung der Lehrerstimme wahrnehmen, was Sprachenlernenden hilft, Sprache besser zu verstehen und nachzuahmen.

• Kundenservice und Empfang: An Flughäfen, in Hotels oder in Kundenservicecentern können Mitarbeiter mit binauralen Geräten in Echtzeit mit Kunden verschiedener Sprachen kommunizieren und so einen natürlicheren und effizienteren Service bieten.

Projektadresse

https://github.com/chentuochao/Spatial-Speech-Translation