Voicebox : modèle vocal IA génératif capable d'effectuer des tâches de génération de voix 155

Voicebox, un modèle vocal d'IA générative avancé développé par Meta ai, peut exécuter des tâches de génération vocale telles que l'édition, l'échantillonnage et la stylisation, mais il n'a pas été spécifiquement entraîné pour accomplir ces tâches via l'apprentissage en contexte.

Voicebox peut générer des clips audio de haute qualité et éditer des audios préenregistrés (par exemple, éliminer les klaxons de voiture ou les aboiements de chien) tout en préservant le contenu et le style de l'audio. Le modèle est également multilingue et peut produire de la parole dans six langues.

Fonctionnalités de Voicebox :

La polyvalence de Voicebox permet de réaliser plusieurs tâches, notamment :

• Synthèse vocale contextuelle texte-à-parole : à l'aide d'un échantillon audio d'à peine deux secondes, Voicebox peut correspondre au style de l'audio de doublage et l'utiliser pour la génération texte-à-parole.

• Édition vocale et réduction du bruit : Voicebox peut recréer les parties de la parole interrompues par du bruit ou remplacer des mots mal prononcés sans avoir à réenregistrer toute la voix. Par exemple, vous pouvez identifier un extrait vocal interrompu par des aboiements de chien, le découper, puis demander à Voicebox de régénérer cet extrait — comme une gomme utilisée pour l'édition audio.

• Transfert de style inter-langues : lorsqu'on lui fournit un échantillon vocal d'une personne et un texte en anglais, français, allemand, espagnol, polonais ou portugais, Voicebox peut lire le texte dans n'importe laquelle de ces langues, même si l'échantillon vocal et le texte sont dans des langues différentes. Cette fonctionnalité pourra à l'avenir être utilisée pour aider les gens à communiquer de manière naturelle et authentique, même lorsqu'ils parlent des langues différentes.

• Échantillonnage vocal diversifié : après avoir appris à partir de données diversifiées, Voicebox peut générer des voix qui représentent davantage la façon dont les gens parlent dans le monde réel et dans les six langues mentionnées ci-dessus.

Avantages de Voicebox :

• Des outils avancés d'élimination du bruit et de conversion de style améliorent la qualité et la polyvalence audio.

• Un entraînement approfondi sur plus de 50 000 heures de données vocales garantit une grande précision et un son naturel.

• Sa capacité à utiliser six langues différentes en fait un choix idéal pour les applications mondiales et les tâches multilingues.

Inconvénients de Voicebox :

• Une disponibilité limitée en raison d'éventuels usages abusifs peut restreindre l'accès des utilisateurs et développeurs légitimes.

À l'avenir, des modèles d'intelligence artificielle générative polyvalents comme Voicebox pourront fournir des voix naturelles aux assistants virtuels et aux personnages non-joueurs dans les métavers. Ils pourront permettre aux personnes malvoyantes d'entendre l'IA lire à voix haute les messages écrits de leurs amis, offrir aux créateurs de nouveaux outils pour produire et éditer facilement des pistes vidéo, et bien plus encore.

Voicebox représente une étape importante dans nos recherches en IA générative, et nous avons hâte de continuer à explorer le domaine de l'audio et de voir comment d'autres chercheurs pourront s'appuyer sur nos travaux.