PengChengStarling: Sistema de reconocimiento de voz multilingüe de código abierto del Laboratorio Pengcheng 108

PengChengStarling es un sistema de reconocimiento de voz multilingüe de código abierto desarrollado por el Laboratorio PengCheng, que admite reconocimiento de voz en tiempo real, reconociendo el habla a medida que se habla. Solo tiene que aplicarse en escenarios como la transcripción de grabaciones de conferencias internacionales a texto, la generación automática de subtítulos para vídeos multilingües, y sistemas de atención al cliente multilingües.

PengChengStarling se basa en el proyecto icefall, con un tamaño de modelo de solo el 20 % del de Whisper-Large v3, pero una velocidad de inferencia 7 veces más rápida. Admite 8 idiomas, incluidos chino, inglés, ruso, vietnamita, japonés, tailandés, indonesio y árabe, y puede procesar la entrada de voz en varios idiomas dentro de un marco unificado, mejorando en gran medida la eficiencia del reconocimiento de voz.

Características de PengChengStarling:

• Tamaño del modelo y rendimiento: el tamaño del modelo de PengChengStarling es solo el 20 % del de Whisper-Large v3, lo que lo hace más eficiente en cuanto a almacenamiento y recursos computacionales.

• Velocidad de inferencia: la velocidad de inferencia del sistema PengChengStarling es 7 veces más rápida que la de Whisper-Large v3, capaz de procesar la entrada de voz en un tiempo más corto, adecuado para escenarios de aplicación en tiempo real.

• Soporte multilingüe: PengChengStarling admite hasta 8 idiomas, incluidos chino, inglés, ruso, vietnamita, japonés, tailandés, indonesio y árabe, satisfaciendo las necesidades de diferentes usuarios.

• Arquitectura del modelo: adopta la arquitectura RNN-T, compuesta por tres módulos: Encoder, Decoder y Joiner, con el codificador de voz utilizando Zipformer.

• Mejora del rendimiento: en comparación con Whisper-Large v3, PengChengStarling ha logrado un rendimiento comparable o superior en 6 idiomas, con un factor de tiempo real (RTF) de 0,016 y una velocidad de inferencia casi 7 veces mayor.

Escenarios de aplicación de PengChengStarling:

• Asistente inteligente: se puede integrar en asistentes inteligentes para reconocer y responder a comandos de voz.

• Atención al cliente: en los centros de atención al cliente, el uso de la tecnología de reconocimiento de voz mejora la velocidad y precisión de las respuestas a las consultas de los clientes.

• Campo educativo: en el aprendizaje de idiomas y aplicaciones educativas, ayuda a los estudiantes a practicar la pronunciación y la comunicación lingüística.

• Registro de reuniones: transcribe en tiempo real el contenido de las intervenciones en las reuniones, mejorando la eficiencia de las mismas.

• Traducción multilingüe: combinado con sistemas de traducción, permite la comunicación multilingüe en tiempo real.

PengChengStarling ha tenido un rendimiento excepcional en la evaluación, especialmente en la comparación con Whisper-Large v3, donde ha alcanzado un efecto comparable o superior en el reconocimiento de voz en streaming en seis idiomas. Además, la cantidad de datos de entrenamiento para cada idioma del sistema es de aproximadamente 2000 horas, provenientes principalmente de conjuntos de datos abiertos, lo que proporciona una base muy sólida para su soporte multilingüe.

En aplicaciones reales, PengChengStarling también se puede utilizar para tecnología de adaptación del reconocimiento de voz, realizando ajustes personalizados según las características vocales del usuario para mejorar la tasa de precisión del reconocimiento, especialmente en entornos con mucho ruido.

Github: https://github.com/yangb05/PengChengStarling

HuggingFace: https://huggingface.co/stdo/PengChengStarling