Voila: un modelo de voz IA de extremo a extremo y código abierto 65

小编 · 2025-05-07

Voila es un modelo de voz IA de extremo a extremo que emplea tecnología full-duplex para escuchar y hablar a la vez con baja latencia. Su latencia de respuesta es de solo 195 ms, más rápida que el tiempo medio de reacción humano, eliminando los sistemas de pipeline tradicionales.

Voila: un modelo de voz IA de extremo a extremo y código abierto

¿Qué es Voila?

Voila es un modelo de voz de IA de extremo a extremo que adopta tecnología full-duplex, capaz de escuchar y hablar simultáneamente, con una característica de baja latencia, cuya latencia de respuesta es de solo 195 milisegundos, inferior al tiempo medio de reacción humana, prescindiendo del tradicional sistema de pipeline.

El modelo viene preconfigurado con más de un millón de voces y admite múltiples funciones como reconocimiento automático del habla (ASR), texto a voz (TTS) y traducción de voz multilingüe. Además, Voila puede llevar a cabo diálogos autónomos en tiempo real, escuchando, razonando y respondiendo proactivamente al usuario de forma continua. Los usuarios también pueden definir la identidad, el tono y otras características del hablante mediante instrucciones de texto, logrando así una experiencia de interacción de voz más personalizada y natural.

Voila: un modelo de voz de IA de extremo a extremo de código abierto.jpg

Características de Voila

Diálogo full-duplex de baja latencia: Voila implementa un diálogo full-duplex y de baja latencia, con una latencia de respuesta de solo 195 milisegundos, superando el tiempo medio de reacción humana.
Preservación de los detalles de voz: capaz de preservar detalles vocales ricos, como el tono, el ritmo y la emoción.
Arquitectura Transformer jerárquica multiescala: combina la capacidad de razonamiento de los modelos de lenguaje grandes (LLMs) con un potente modelado acústico, permitiendo una generación de voz natural y con percepción de personaje; el usuario puede definir la identidad, el tono y otras características del hablante mediante instrucciones de texto.
Capacidad de personalización de voz robusta: admite más de un millón de voces prefabricadas y permite personalizar eficientemente nuevas voces a partir de muestras de audio de tan solo 10 segundos.
Diseño de modelo unificado: aplicable a una amplia gama de aplicaciones de voz, incluyendo reconocimiento automático del habla (ASR), texto a voz (TTS), así como traducción de voz multilingüe con una ligera adaptación.

Principios técnicos

Procesamiento de audio en streaming en tiempo real, de alta fidelidad y baja latencia: permite diálogos de baja latencia preservando los detalles de la voz.
Integración eficiente de capacidades de modelado de voz y lenguaje: combina el modelado de texto y voz para mejorar la naturalidad de la interacción.
Millones de voces prefabricadas y personalizadas: admite el cambio rápido de voz durante el diálogo, enriqueciendo la experiencia de interacción.
Modelo unificado aplicable a diversas tareas de audio: un único modelo admite múltiples tareas de audio, reduciendo los costes de desarrollo e implementación.

Voila: un modelo de voz de IA de extremo a extremo de código abierto.jpg

Escenarios de aplicación de Voila

Asistente de voz: puede actuar como asistente de voz inteligente, interactuando con los humanos de forma autónoma, en tiempo real y con expresividad emocional, escuchando, razonando y respondiendo proactivamente de forma continua, facilitando una experiencia de interacción fluida, dinámica y con resonancia emocional.
Role-playing de voz: en escenarios como el role-playing, los usuarios pueden definir la identidad, el tono y otras características del hablante, logrando una generación de voz natural y con percepción de personaje.
Traducción de voz multilingüe: tras una ligera adaptación, puede usarse para traducción de voz multilingüe.