Hibiki: modelo de traducción de voz en tiempo real de alta fidelidad de Kyutai Labs 111

Hibiki es un modelo de traducción de voz en tiempo real de alta fidelidad desarrollado por Kyutai Labs que admite francés e inglés, capaz de preservar las características de la voz original y realizar traducción en tiempo real, escuchando y traduciendo simultáneamente, produciendo la salida de forma inmediata como la interpretación simultánea, generando a la vez voz y texto traducidos.

Características de Hibiki:

• Arquitectura de modelo de lenguaje de múltiples flujos: Hibiki adopta una arquitectura de múltiples flujos similar a Moshi, lo que le permite procesar simultáneamente la voz del idioma de origen y del idioma de destino, logrando una conversión sin interrupciones de voz a voz (S2ST) y de voz a texto (S2TT).

• Preservación de las características de la voz: uno de los aspectos más destacados del modelo Hibiki es que la voz generada suena bastante natural y fluida, cercana al modo de hablar normal de los humanos.

• Ajuste automático de la velocidad de la voz: Hibiki ajusta de forma inteligente la velocidad de la voz traducida según el contenido semántico del idioma de origen, garantizando la fluidez y precisión de la traducción.

• Traducción en tiempo real: puede completar la conversión de voz a voz o de voz a texto en poco tiempo. Por ejemplo, durante una comunicación de viaje internacional, cuando una persona termina de decir una frase, casi de inmediato se obtiene el resultado traducido y se reproduce, lo cual resulta muy práctico.

• Modelo pequeño que se ejecuta en el dispositivo: Hibiki-M es la versión ligera de Hibiki, con 1.700 millones de parámetros, capaz de ejecutarse en tiempo real en dispositivos móviles como el iPhone, sin depender del procesamiento en la nube, lo que demuestra el avance de las técnicas de optimización y compresión del modelo.

• Traducción adaptable: Hibiki puede reconocer con relativa precisión entradas de voz con diferentes acentos. Por ejemplo, tanto el inglés británico estándar, el inglés americano, como el inglés indio con características regionales, entre otros.

• Soporte multilingüe: además del francés y el inglés, el modelo de lenguaje de audio-texto de múltiples flujos de Hibiki puede ampliarse para traducir a otros idiomas, aumentando la flexibilidad y adaptabilidad de sus aplicaciones.

Tecnología Hibiki:

Hibiki es un modelo decodificador que, mediante algoritmos de sincronización precisos, traduce rápidamente la voz de un idioma a la voz o al texto de otro idioma. El núcleo de esta tecnología reside en su modelo de lenguaje de múltiples flujos, capaz de generar en tiempo real salidas de audio y texto durante el proceso de reconocimiento de voz y traducción. Además, Hibiki también admite la transferencia de características de la voz, lo que permite preservar el tono y la emoción del hablante durante la traducción, logrando un efecto de traducción más natural y auténtico.

Sin embargo, dado que requiere la transmisión de datos de voz y el procesamiento en la nube, sus exigencias de red son elevadas. Si la señal de red no es buena, pueden producirse errores de reconocimiento o retrasos en la traducción.

Escenarios de aplicación de Hibiki:

• Reuniones de negocios: para profesionales de negocios internacionales, en reuniones o cenas de negocios, Hibiki puede ayudar a los participantes a realizar traducción instantánea, eliminando las barreras lingüísticas.

• Educación en línea: en plataformas educativas, Hibiki puede ofrecer traducción de voz en tiempo real, ayudando a estudiantes de distintos idiomas a aprender y comunicarse mejor.

• Traducción para viajes: al viajar al extranjero, facilita a los turistas la comunicación sencilla con los locales, como pedir indicaciones o hacer pedidos en restaurantes. Los turistas pueden decir directamente sus necesidades al teléfono y obtener una respuesta traducida en voz o texto.

• Comunicación médico-paciente: en hospitales y otros establecimientos, Hibiki puede asistir en la comunicación entre médicos y pacientes.

GitHub: https://github.com/kyutai-labs/hibiki

HuggingFace: https://huggingface.co/collections/kyutai/hibiki-fr-en-67a48835a3d50ee55d37c2b5

Artículo en arXiv: https://arxiv.org/pdf/2502.03382