Llasa: un TTS basado en Llama con generación de voz natural y expresiva 214

¿Qué es Llasa?

Llasa es un sistema de código abierto de texto a voz (TTS) desarrollado por el Laboratorio de Audio de la Universidad de Ciencia y Tecnología de Hong Kong, basado en la arquitectura LLaMA y que combina la tecnología de tokens de voz XCodec2. Es capaz de generar voz de alta calidad, natural, fluida y con emociones, mejorando la naturalidad de la síntesis de voz, la precisión de la prosodia y la capacidad de expresión emocional, con resultados de generación bastante naturales.

Funciones principales de Llasa

• Síntesis de voz de alta calidad: capaz de generar voz natural y fluida, compatible con chino e inglés, con excelente naturalidad y expresión emocional.

• Expresión emocional: puede sintetizar voces con matices emocionales como alegría, tristeza e ira, haciendo que la voz sea más natural y vívida.

• Clonación de voz: con solo 15 segundos de muestra de voz, puede clonar la voz con gran precisión, conservando el timbre original y las características emocionales.

• Aprendizaje de cero disparos: permite sintetizar voz para hablantes o emociones nunca antes vistos, sin necesidad de ajuste fino adicional.

• Soporte de textos largos: capaz de procesar entradas de texto extensas y generar salidas de voz coherentes, adecuado para audiolibros, locuciones y otros escenarios.

Principios técnicos de Llasa

• Arquitectura: basada en un códec-decodificador de cuantización vectorial (VQ) de una sola capa y una arquitectura Transformer única, totalmente alineada con el modelo LLaMA estándar.

• Tokenizador de voz: utiliza XCodec2 para codificar formas de onda de voz en tokens discretos, conservando la información semántica y acústica.

• Escalado de entrenamiento e inferencia: al aumentar el tamaño del modelo (como 1B, 3B u 8B parámetros) o la cantidad de datos de entrenamiento (como 250.000 horas de datos de voz), se mejora la naturalidad de la voz y la capacidad de expresión emocional.

• Generación autorregresiva: genera tokens de voz uno por uno, garantizando que la voz sea coherente con el texto de entrada en términos de semántica y prosodia.

Versiones del modelo Llasa

Llasa cuenta con versiones de 1B, 3B y 8B parámetros, compatibles con chino e inglés, que pueden satisfacer las necesidades de diferentes recursos de hardware y escenarios de aplicación.

Escenarios de aplicación de Llasa

Es adecuado para realidad virtual, videojuegos, servicios de accesibilidad, atención al cliente y educación, así como para la creación de audiolibros o asistentes de voz.

• Asistentes de voz inteligentes: Llasa TTS permite que los dispositivos o software inteligentes dispongan de funciones de interacción por voz naturales y fluidas, mejorando la experiencia del usuario.

• Audiolibros y educación en línea: puede convertir contenido textual en voz vívida, utilizable en la producción de audiolibros y educación en línea, facilitando el aprendizaje de los estudiantes mediante la escucha.

• Locución y atención al cliente: Llasa TTS puede usarse en locución de noticias, indicaciones de información de tráfico y sistemas de atención al cliente, haciendo que la transmisión de información sea más eficiente.

• Videojuegos y entretenimiento: puede dotar a personajes o avatares virtuales de voces personalizadas, aumentando la inmersión.

• Publicidad y marketing: las empresas pueden utilizar Llasa TTS para generar locuciones publicitarias, mejorando el efecto de promoción de marca.

• Clonación de voz y creación de contenido: Llasa TTS admite la clonación de voz de cero disparos; con solo unos 15 segundos de muestra de audio, puede clonar el timbre y la emoción de una voz específica, siendo útil para locuciones publicitarias, producción de vídeos o creación de contenido de voz personalizado.

Repositorio de GitHub：https://github.com/zhenye234/LLaSA_training

Biblioteca de modelos en HuggingFace：https://huggingface.co/collections/HKUSTAudio/llasa

Demo en línea：https://huggingface.co/spaces/srinivasbilla/llasa-3b-tts