Voicebox: modelo de voz IA generativa capaz de realizar tareas de generación de voz 152

Voicebox, un modelo avanzado de voz de IA generativa desarrollado por Meta ai, puede realizar tareas de generación de voz, como edición, muestreo y estilización, pero no ha sido entrenado específicamente para completar estas tareas mediante aprendizaje en contexto.

Voicebox puede generar clips de audio de alta calidad y editar audio pregrabado (por ejemplo, eliminar bocinas de coches o ladridos de perros), conservando al mismo tiempo el contenido y el estilo del audio. El modelo también es multilingüe y puede producir voz en seis idiomas.

Características de Voicebox:

La versatilidad de Voicebox permite realizar múltiples tareas, entre ellas:

• Síntesis de texto a voz en contexto: usando muestras de audio de tan solo dos segundos, Voicebox puede igualar el estilo del audio de doblaje y utilizarlo para la generación de texto a voz.

• Edición de voz y reducción de ruido: Voicebox puede recrear partes de la voz interrumpidas por ruido o sustituir palabras mal dichas sin necesidad de volver a grabar toda la voz. Por ejemplo, puede identificar un fragmento de voz interrumpido por un ladrido de perro, recortarlo y luego indicar a Voicebox que regenere ese fragmento, como una goma de borrar para la edición de audio.

• Transferencia de estilo entre idiomas: cuando se le proporciona una muestra de voz de una persona y un texto en inglés, francés, alemán, español, polaco o portugués, Voicebox puede leer el texto en cualquiera de esos idiomas, incluso si la voz de la muestra y el texto están en idiomas diferentes. Esta capacidad podría usarse en el futuro para ayudar a las personas a comunicarse de forma natural y realista, incluso si hablan idiomas distintos.

• Muestreo de voz diverso: tras aprender a partir de datos diversos, Voicebox puede generar voces que representan mejor cómo hablan las personas en el mundo real y en los seis idiomas mencionados.

Ventajas de Voicebox:

• Las avanzadas herramientas de eliminación de ruido y conversión de estilo mejoran la calidad del audio y la versatilidad.

• El entrenamiento exhaustivo con más de 50.000 horas de datos de voz garantiza una alta precisión y un sonido natural.

• La capacidad de utilizar seis idiomas diferentes lo convierte en una opción ideal para aplicaciones globales y tareas entre idiomas.

Desventajas de Voicebox:

• La disponibilidad limitada debido a un posible uso indebido puede restringir el acceso de usuarios legítimos y desarrolladores.

En el futuro, modelos de inteligencia artificial generativa multipropósito como Voicebox podrían proporcionar voces naturales para asistentes virtuales y personajes no jugables en metaversos. Podrían permitir que las personas con discapacidad visual escuchen mensajes escritos de amigos leídos por la IA con voz, ofrecer a los creadores nuevas herramientas para crear y editar fácilmente pistas de audio de vídeos, y mucho más.

Voicebox es un paso importante en nuestra investigación de inteligencia artificial generativa, y esperamos seguir explorando en el campo del audio y ver cómo otros investigadores continúan desarrollando nuestro trabajo.