StreamSpeech: modelo de traducción en tiempo real para entrada de voz en streaming 190

StreamSpeech, un modelo de traducción en tiempo real que permite la entrada de voz en streaming, utilizado para reconocimiento de voz, traducción de voz y síntesis de voz tanto en modo offline como simultáneo. Permite traducir voz a otro idioma de forma instantánea durante una comunicación en tiempo real, generando simultáneamente la voz correspondiente en el idioma de destino.

No solo traduce la voz a otro idioma, sino que también transcribe el contenido de voz a texto en tiempo real. Los usuarios pueden obtener los resultados de la traducción tanto en formato de voz como de texto simultáneamente, y el proceso de traducción se realiza de forma síncrona, sin necesidad de esperar a que finalice toda la entrada de voz, logrando así una traducción en tiempo real con baja latencia.

StreamSpeech también puede mostrar los resultados del reconocimiento de voz en tiempo real durante el proceso de traducción, ayudando a los usuarios a conocer el progreso de la traducción al instante.

StreamSpeech además puede integrarse sin problemas en diversas aplicaciones y dispositivos, como auriculares de traducción, sistemas de conferencias, plataformas de transmisión en vivo, entre otros, ofreciendo a los usuarios un servicio de traducción cómodo. Tanto en dispositivos personales como en sistemas de conferencias a gran escala, ofrece un rendimiento estable.

Escenarios de aplicación de StreamSpeech:

• Interpretación simultánea en conferencias internacionales utilizando StreamSpeech.

• Empresas multinacionales que utilizan StreamSpeech para reuniones a distancia, logrando una comunicación multilingüe en tiempo real.

• Estudiantes de idiomas que utilizan StreamSpeech para practicar la comprensión auditiva y la expresión oral en diferentes idiomas.

Aspectos destacados de StreamSpeech:

• StreamSpeech alcanza un rendimiento SOTA tanto en traducción de voz a voz offline como simultánea.

• StreamSpeech ejecuta ASR en streaming, traducción simultánea de voz a texto y traducción simultánea de voz a voz a través de un modelo "todo en uno" sin interrupciones.

• StreamSpeech puede presentar resultados intermedios (es decir, resultados de ASR o de traducción) durante el proceso de interpretación simultánea, proporcionando una experiencia de comunicación con baja latencia más completa.

StreamSpeech es ideal para profesionales que necesitan comunicación interlingüística en tiempo real. Al reducir la latencia de la traducción, permite a personas de diferentes idiomas mantener conversaciones en tiempo real sin barreras."

Sitio web oficial:https://ictnlp.github.io/StreamSpeech-site/

Github:https://github.com/ictnlp/StreamSpeech

Paper:https://arxiv.org/abs/2406.03049