StreamSpeech: 스트리밍 음성 입력용 실시간 번역 모델 194

StreamSpeech은 스트리밍 음성 입력을 통한 실시간 번역이 가능한 모델로, 오프라인 및 동시 음성 인식, 음성 번역, 음성 합성을 수행합니다. 실시간 통신에서 음성을 즉시 다른 언어로 번역하면서 해당 목표 음성을 동시에 출력할 수 있습니다.

음성을 다른 언어로 번역할 뿐만 아니라, 음성 내용을 실시간으로 텍스트로 전사할 수도 있습니다. 사용자는 음성과 텍스트 두 가지 형태의 번역 결과를 동시에 얻을 수 있으며, 번역 과정이 동기적으로 진행되어 전체 음성 입력이 끝날 때까지 기다릴 필요가 없으므로 낮은 지연 시간의 실시간 번역이 가능합니다.

또한 StreamSpeech은 번역 과정에서 실시간 음성 인식 결과를 표시하여 사용자가 번역 진행 상황을 즉시 확인할 수 있도록 도와줍니다.

StreamSpeech은 번역 이어폰, 회의 시스템, 라이브 스트리밍 플랫폼 등 다양한 애플리케이션과 장치에 원활하게 통합되어 사용자에게 편리한 번역 서비스를 제공할 수 있습니다. 개인용 장치에서 사용하든 대규모 회의 시스템에서 활용하든, Simul-S2ST는 안정적인 성능을 제공합니다.

StreamSpeech 활용 시나리오:

• 국제 회의에서 StreamSpeech을 사용해 동시통역을 진행합니다.

• 다국적 기업이 StreamSpeech을 활용해 원격 회의를 진행하며 실시간 다국어 소통을 구현합니다.

• 언어 학습자가 StreamSpeech을 사용해 다양한 언어의 듣기 및 말하기를 연습합니다.

StreamSpeech 주요 강점:

• StreamSpeech은 오프라인 및 동시 음성 대 음성 번역 모두에서 SOTA 성능을 달성했습니다.

• StreamSpeech은 "올인원"无缝 모델(통합 모델)을 통해 스트리밍 ASR, 동시 음성 대 텍스트 번역, 동시 음성 대 음성 번역을 수행합니다.

• StreamSpeech은 동시통역 과정에서 중간 결과(ASR 또는 번역 결과)를 제시하여 더 포괄적인 저지연 통신 경험을 제공합니다.

StreamSpeech은 실시간 크로스링구얼 소통이 필요한 전문가에게 매우 적합합니다. 번역 지연을 줄임으로써 서로 다른 언어 배경을 가진 사람들이 실시간으로 장벽 없이 대화할 수 있도록 합니다."

공식 웹사이트:https://ictnlp.github.io/StreamSpeech-site/

Github:https://github.com/ictnlp/StreamSpeech

논문:https://arxiv.org/abs/2406.03049