SenseVoice: многоязычная аудиомодель от Alibaba 116

SenseVoice — это многоязычная аудиобазовая модель, выпущенная в рамках проекта FunAudioLLM лабораторией Alibaba Tongyi. SenseVoice специализируется на высокоточной многоязычной распознавании речи, распознавании эмоций в голосе и обнаружении звуковых событий, обладает возможностями мультиязычной поддержки, смешанных языков, контроля тембра и эмоций и демонстрирует выдающиеся результаты в генерации речи с нулевым количеством примеров (zero-shot), межъязыковом клонировании голоса и следовании инструкциям.

FunAudioLLM сочетает передовые технологии понимания и генерации речи, что позволяет решать сложные речевые задачи и обеспечивать естественное взаимодействие в многоязычной среде.

SenseVoice может применяться для голосового перевода, эмоционального голосового общения, интерактивных подкастов и выразительного чтения аудиокниг.

SenseVoice обладает возможностями понимания аудио, включая распознавание речи (ASR), определение языка (LID), распознавание эмоций в речи (SER) и классификацию акустических событий (AEC), а также обнаружение акустических событий (AED).

Производительность SenseVoice:

• Многоязычное распознавание речи: модель обучена на более чем 400 000 часов аудиоданных и поддерживает более 50 языков, превосходя модель Whisper по качеству распознавания.

• Расширенная транскрипция:

  Обладает превосходными возможностями распознавания эмоций, достигая и превышая результаты лучших на сегодняшний день моделей распознавания эмоций на тестовых данных.

  Обеспечивает обнаружение звуковых событий, включая фоновая музыка (bgm), аплодисменты, смех, плач, кашель, чихание и другие распространённые события в процессе взаимодействия человека с машиной.

• Эффективный вывод: модель SenseVoice-Small использует неавторегрессионную сквозную архитектуру, обеспечивающую крайне низкую задержку при выводе. Обработка 10-секундного аудио занимает всего 70 мс, что в 15 раз быстрее, чем Whisper-Large.

• Удобная донастройка (Finetuning): предоставляются удобные скрипты и стратегии донастройки, позволяющие пользователям легко решать проблемы с редкими примерами в зависимости от бизнес-сценария.

• Развёртывание сервиса: предоставляется конвейер развёртывания сервиса с поддержкой множественных параллельных запросов; клиентские языки включают Python, C++, HTML, Java, C# и другие.

Производительность многоязычного распознавания речи и эффективность вывода были протестированы на aishell-1, AISHELL-2, Wenetspeech, Librispeech и Common Voice. Для китайского языка и кантонского диалекта модель SenseVoice-Small показывает лучшие результаты.

github: https://github.com/FunAudioLLM/SenseVoice