Llasa : un TTS basé sur Llama avec une génération vocale naturelle et expressive 216

Qu'est-ce que Llasa ?

Llasa est un système open source de synthèse vocale (TTS) développé par le laboratoire audio de la Hong Kong University of Science and Technology. Basé sur l'architecture LLaMA et combiné à la technologie de tokens vocaux XCodec2, il est capable de générer une voix de haute qualité, naturelle, fluide et expressive, améliorant le naturel de la synthèse vocale, la précision prosodique et la capacité d'expression émotionnelle, pour un rendu très naturel.

Fonctionnalités principales de Llasa

• Synthèse vocale de haute qualité : capable de générer une voix naturelle et fluide, prend en charge le bilingue chinois-anglais, avec une excellente naturel et expressivité émotionnelle.

• Expression émotionnelle : peut synthétiser des voix véhiculant des émotions telles que la joie, la tristesse ou la colère, rendant la parole plus naturelle et vivante.

• Clonage vocal : seulement 15 secondes d'échantillon vocal suffisent pour cloner une voix avec une grande précision, en préservant le timbre et les caractéristiques émotionnelles d'origine.

• Apprentissage zero-shot : permet la synthèse vocale pour des locuteurs ou des émotions jamais vus, sans nécessiter de réglage fin supplémentaire.

• Prise en charge de longs textes : capable de traiter de longs textes en entrée et de générer une sortie vocale cohérente, adapté aux livres audio, à la diffusion vocale et autres scénarios.

Principe technique de Llasa

• Architecture : basée sur un codec VQ (Vector Quantization) à une seule couche et une architecture Transformer unique, entièrement alignée sur le modèle LLaMA standard.

• Tokeniseur vocal : utilise XCodec2 pour encoder les formes d'onde vocales en tokens discrets, en préservant les informations sémantiques et acoustiques.

• Mise à l'échelle de l'entraînement et de l'inférence : l'augmentation de la taille du modèle (par exemple 1B, 3B, 8B paramètres) ou du volume de données d'entraînement (par exemple 250 000 heures de données vocales) améliore le naturel et l'expressivité émotionnelle de la voix.

• Génération autorégressive : génère les tokens vocaux un par un, garantissant la cohérence sémantique et prosodique avec le texte en entrée.

Versions du modèle Llasa

Llasa est disponible en versions 1B, 3B et 8B paramètres, prend en charge le chinois et l'anglais, et peut répondre aux besoins de différents environnements matériels et scénarios d'application.

Cas d'utilisation de Llasa

Adapté aux domaines de la réalité virtuelle, du jeu vidéo, des services d'accessibilité, du service client et de l'éducation, ainsi qu'aux livres audio ou assistants vocaux.

• Assistant vocal intelligent : Llasa TTS permet aux appareils ou logiciels intelligents de disposer d'une interaction vocale naturelle et fluide, améliorant ainsi l'expérience utilisateur.

• Livres audio et e-learning : il permet de convertir du contenu textuel en voix vivante, pour la production de livres audio et l'éducation en ligne, facilitant l'apprentissage des étudiants par l'écoute.

• Diffusion vocale et service client : Llasa TTS peut être utilisé pour les bulletins d'information, les annonces d'informations routières et les systèmes de service client, rendant la transmission d'informations plus efficace.

• Jeux et divertissement : il peut fournir des voix personnalisées pour des personnages ou des avatars virtuels, renforçant ainsi l'immersion.

• Publicité et marketing : les entreprises peuvent utiliser Llasa TTS pour générer des voix publicitaires, améliorant ainsi l'impact des campagnes de marque.

• Clonage vocal et création de contenu : Llasa TTS prend en charge le clonage vocal zero-shot, ne nécessitant qu'environ 15 secondes d'échantillon audio pour cloner le timbre et l'émotion d'une voix spécifique, et peut être utilisé pour le doublage publicitaire, la production vidéo ou la création de contenu vocal personnalisé.

Dépôt GitHub :https://github.com/zhenye234/LLaSA_training

Bibliothèque de modèles HuggingFace :https://huggingface.co/collections/HKUSTAudio/llasa

Démo en ligne :https://huggingface.co/spaces/srinivasbilla/llasa-3b-tts