SenseVoice: 알리바바 다국어 오디오 모델 112

SenseVoice는 알리 통의(Tongyi) 연구실에서 출시한 FunAudioLLM 프레임워크의 다국어 오디오 기반 모델로, 고정밀 다국어 음성 인식, 음성 감정 인식 및 오디오 이벤트 감지에 중점을 두며, 다국어, 혼합 언어, 음색 및 감정 제어 능력을 갖추고 있어 제로샷 음성 생성, 다국어 음성 클로닝 및 지시 따르기 능력에서 우수한 성능을 보입니다.

FunAudioLLM은 첨단 음성 이해 및 생성 기술을 결합하여 복잡한 음성 작업을 처리하고 다양한 언어 환경에서 자연스러운 상호작용을 구현합니다.

SenseVoice는 음성 번역, 감정 음성 채팅, 인터랙티브 팟캐스트 및 표현력이 풍부한 오디오북 낭독 등에 활용될 수 있습니다.

SenseVoice는 음성 인식(ASR), 언어 식별(LID), 음성 감정 인식(SER), 음향 이벤트 분류(AEC) 또는 음향 이벤트 감지(AED) 등 오디오 이해 능력을 갖추고 있습니다.

SenseVoice 성능:

• 다국어 음성 인식: 40만 시간 이상의 데이터로 학습되어 50개 이상의 언어를 지원하며, 인식 성능은 Whisper 모델을 능가합니다.

• 풍부한 전사(Transcription):

  뛰어난 감정 인식 능력을 보유하여 테스트 데이터에서 현재 최고의 감정 인식 모델의 효과를 달성하고 능가합니다.

  배경음악, 박수, 웃음, 울음, 기침, 재채기 등 다양한 일반적인 인간-기계 상호작용 이벤트를 감지하는 음향 이벤트 감지 기능을 제공합니다.

• 효율적인 추론: SenseVoice-Small 모델은 비자기회귀 종단간 프레임워크를 채택하여 매우 낮은 추론 지연 시간을 구현합니다. 10초의 오디오를 처리하는 데 70ms만 소요되어 Whisper-Large보다 15배 빠릅니다.

• 편리한 파인튜닝: 편리한 파인튜닝 스크립트와 전략을 제공하여 사용자가 비즈니스 시나리오에 따라 롱테일 샘플 문제를 손쉽게 해결할 수 있도록 합니다.

• 서비스 배포: 다중 동시 요청을 지원하는 서비스 배포 파이프라인을 제공하며, 클라이언트 언어로는 Python, C++, HTML, Java, C# 등을 지원합니다.

AISHELL-1, AISHELL-2, Wenetspeech, Librispeech 및 Common Voice에서 다국어 음성 인식 성능과 추론 효율성을 테스트한 결과, 중국어와 광동어에서 SenseVoice-Small의 효과가 우수했습니다.

github: https://github.com/FunAudioLLM/SenseVoice