PengChengStarling: 펑청 실험실이 오픈소스로 공개한 다국어 음성 인식 시스템 116

PengChengStarling은 펀청 실험실에서 오픈소스로 공개한 다국어 음성 인식 시스템으로, 실시간 음성 인식을 지원하여 말하는 동시에 인식할 수 있습니다. 국제 회의 녹음의 텍스트화, 다국어 비디오 자동 자막 생성, 다국어 고객 서비스 시스템과 같은场景에서 사용할 수 있습니다.

PengChengStarling은 icefall 프로젝트를 기반으로 개발되었으며, 모델 크기는 Whisper-Large v3의 20%에 불과하지만 추론 속도는 7배 빠릅니다. 중국어, 영어, 러시아어, 베트남어, 일본어, 태국어, 인도네시아어, 아랍어 등 8개 언어를 지원하며, 단일 프레임워크 내에서 여러 언어의 음성 입력을 처리하여 음성 인식의 효율성을 크게 향상시킵니다.

PengChengStarling 기능:

• 모델 크기 및 성능: PengChengStarling의 모델 크기는 Whisper-Large v3의 20%에 불과하여 저장 및 컴퓨팅 리소스 측면에서 더 효율적입니다.

• 추론 속도: PengChengStarling 시스템의 추론 속도는 Whisper-Large v3보다 7배 빠르며, 더 짧은 시간 내에 음성 입력을 처리할 수 있어 실시간 애플리케이션场景에 적합합니다.

• 다국어 지원: PengChengStarling은 중국어, 영어, 러시아어, 베트남어, 일본어, 태국어, 인도네시아어, 아랍어를 포함한 최대 8개 언어를 지원하여 다양한 사용자의 요구를 충족할 수 있습니다.

• 모델 아키텍처: RNN-T 아키텍처를 채택하며, Encoder, Decoder, Joiner의 세 가지 모듈로 구성되고 음성 인코더는 Zipformer를 사용합니다.

• 성능 향상: Whisper-Large v3와 비교하여 PengChengStarling은 6개 언어에서 동등하거나 더 나은 성능을 달성했으며, 실시간 인자(RTF)는 0.016에 달하고 추론 속도는 약 7배 향상되었습니다.

PengChengStarling 응용 场景:

• 스마트 어시스턴트: 스마트 어시스턴트에 통합하여 음성 명령의 인식 및 응답을 구현할 수 있습니다.

• 고객 서비스: 고객 서비스 센터에서 음성 인식 기술을 활용하여 고객 문의 응답 속도와 정확성을 향상시킵니다.

• 교육 분야: 언어 학습 및 교육 애플리케이션에서 학생들의 발음 연습과 언어 의사소통을 지원합니다.

• 회의 기록: 회의에서 발언 내용을 실시간으로 기록하여 회의 효율성을 높입니다.

• 다국어 번역: 번역 시스템과 결합하여 실시간 다국어 의사소통을 구현합니다.

PengChengStarling은 성능 평가에서 뛰어난 결과를 보였으며, 특히 Whisper-Large v3와의 비교에서 6개 언어의 스트리밍 음성 인식 성능에서 동등하거나 더 우수한 효과를 달성했습니다. 또한 각 언어별 학습 데이터 양은 약 2000시간이며, 주로 오픈 데이터셋에서 수집되어 다국어 지원에 매우 견고한 기반을 제공합니다.

실제 응용에서 PengChengStarling은 음성 인식의 적응형 기술에도 사용될 수 있어, 사용자의 음성 특성에 따라 개인화된 조정을 통해 인식 정확도를 높일 수 있습니다. 특히 잡음이 많은 환경에서 그렇습니다.

Github: https://github.com/yangb05/PengChengStarling

HuggingFace: https://huggingface.co/stdo/PengChengStarling