SenseVoice: modelo de audio multilingüe de Alibaba 113

SenseVoice, un modelo fundamental de audio multilingüe del marco FunAudioLLM lanzado por el laboratorio Alibaba Tongyi, se enfoca en reconocimiento de voz multilingüe de alta precisión, reconocimiento de emociones en la voz y detección de eventos de audio, con capacidades multilingües, de idiomas mixtos, control de timbre y emociones, con un rendimiento destacado en generación de voz con cero ejemplos, clonación de voz entre idiomas y seguimiento de instrucciones.

FunAudioLLM combina tecnologías avanzadas de comprensión y generación de voz para manejar tareas de voz complejas y lograr una interacción natural en múltiples entornos lingüísticos.

SenseVoice puede aplicarse en traducción de voz, chats de voz con emociones, podcasts interactivos y narración expresiva de audiolibros, entre otros.

SenseVoice cuenta con capacidades de comprensión de audio, que incluyen reconocimiento de voz (ASR), identificación de idiomas (LID), reconocimiento de emociones en la voz (SER) y clasificación de eventos acústicos (AEC) o detección de eventos acústicos (AED).

Rendimiento de SenseVoice:

• Reconocimiento de voz multilingüe: entrenado con más de 400,000 horas de datos, admite más de 50 idiomas y su rendimiento de reconocimiento supera al modelo Whisper.

• Transcripción enriquecida:

  Posee una excelente capacidad de reconocimiento de emociones, alcanzando y superando en los datos de prueba los efectos de los mejores modelos de reconocimiento de emociones actuales.

  Ofrece capacidad de detección de eventos de sonido, admitiendo la detección de diversos eventos comunes en la interacción persona-máquina, como música de fondo (bgm), aplausos, risas, llanto, tos, estornudos, etc.

• Inferencia eficiente: el modelo SenseVoice-Small adopta un marco extremo a extremo no autorregresivo, logrando así una latencia de inferencia muy baja. Procesar 10 segundos de audio solo requiere 70 ms, 15 veces más rápido que Whisper-Large.

• Ajuste fino conveniente: proporciona prácticos scripts y estrategias de ajuste fino, lo que permite a los usuarios resolver fácilmente problemas de muestras de cola larga según los escenarios de negocio.

• Despliegue de servicios: ofrece pipelines de despliegue de servicios que admiten múltiples solicitudes concurrentes, con lenguajes de cliente que incluyen Python, C++, HTML, Java, C#, entre otros.

Se evaluaron el rendimiento de reconocimiento de voz multilingüe y la eficiencia de inferencia en AISHELL-1, AISHELL-2, Wenetspeech, Librispeech y Common Voice; en chino y cantonés, SenseVoice-Small logra excelentes resultados.

github：https://github.com/FunAudioLLM/SenseVoice