StreamSpeech: модель синхронного перевода для потокового речевого ввода 193

StreamSpeech — это модель перевода в реальном времени, поддерживающая потоковое распознавание речи, которая используется для офлайн и синхронного распознавания речи, перевода речи и синтеза речи. Она позволяет мгновенно переводить речь на другой язык в реальном времени при общении, одновременно воспроизводя соответствующую речь на целевом языке.

Она не только переводит речь на другой язык, но и транскрибирует речевое содержание в текст в реальном времени. Пользователи могут одновременно получать результаты перевода в виде речи и текста, при этом процесс перевода происходит синхронно, без необходимости ожидать завершения всего голосового ввода, что обеспечивает низкую задержку при переводе в реальном времени.

StreamSpeech также способна отображать промежуточные результаты распознавания речи в процессе перевода, помогая пользователю мгновенно отслеживать прогресс перевода.

StreamSpeech также легко интегрируется в различные приложения и устройства, такие как наушники для перевода, конференц-системы, стриминговые платформы и другие, предоставляя пользователям удобные услуги перевода. Будь то использование на личном устройстве или в крупной конференц-системе, Simul-S2ST обеспечивает стабильную производительность.

Сценарии применения StreamSpeech:

• Использование StreamSpeech для синхронного перевода на международных конференциях.

• Использование StreamSpeech транснациональными корпорациями для проведения удалённых совещаний и обеспечения многоязычного общения в реальном времени.

• Использование StreamSpeech изучающими языки для тренировки аудирования и разговорной практики на разных языках.

Преимущества StreamSpeech:

• StreamSpeech достигает производительности уровня SOTA как в офлайн, так и в синхронном переводе речи в речь.

• StreamSpeech выполняет потоковое ASR, синхронный перевод речи в текст и синхронный перевод речи в речь с помощью единой «универсальной» бесшовной модели.

• StreamSpeech способна отображать промежуточные результаты в процессе синхронного перевода (то есть результаты ASR или перевода), обеспечивая более полный опыт общения с низкой задержкой.

StreamSpeech идеально подходит для профессионалов, которым требуется межъязыковое общение в реальном времени. Благодаря снижению задержки перевода она позволяет людям с разным языковым фоном беспрепятственно вести диалог в реальном времени."

Официальный сайт: https://ictnlp.github.io/StreamSpeech-site/

Github: https://github.com/ictnlp/StreamSpeech

Статья: https://arxiv.org/abs/2406.03049