Linly-Dubbing: Herramienta inteligente de IA para doblaje y traducción de vídeo en varios idiomas 130

Linly-Dubbing es una herramienta de código abierto de IA para doblaje multilingüe y vídeo traducción. Linly-Dubbing puede traducir automáticamente vídeos a otros idiomas y generar subtítulos, clonar la voz del hablante en el vídeo y realizar doblaje automáticamente, así como sincronización labial.

Características principales de Linly-Dubbing:

• Descarga automática de vídeos: compatible con la descarga de vídeos desde sitios web como YouTube

• Soporte multilingüe: compatible con doblaje y traducción de subtítulos en chino y múltiples idiomas.

• Reconocimiento de voz por IA: reconocimiento de voz preciso, conversión de voz a texto e identificación de hablantes.

• Traducción con LLM: combinado con modelos de lenguaje de gran tamaño líderes (como GPT), puede traducir de forma rápida y precisa, garantizando la profesionalidad y naturalidad de la traducción.

• Clonación de voz: mediante tecnología de clonación de voz, genera una voz muy similar a la del doblaje original del vídeo, manteniendo la coherencia en emociones y tono.

• Sincronización labial: al mantener la sincronización labial, el doblaje puede coincidir en gran medida con la imagen del vídeo, mejorando la autenticidad y la interactividad del vídeo.

• Carga y traducción flexibles: los usuarios pueden cargar vídeos y elegir el idioma y los criterios de traducción para garantizar la personalización y la flexibilidad.

Detalles técnicos de Linly-Dubbing

Reconocimiento de voz

WhisperX: una extensión del sistema de reconocimiento de voz OpenAI Whisper, que puede transcribir el contenido de voz a texto, alinearse con precisión con los fotogramas del vídeo, generar archivos de subtítulos con marcas de tiempo y admitir el reconocimiento de múltiples hablantes.

FunASR: un kit de herramientas integral de reconocimiento de voz que ofrece reconocimiento de voz, detección de actividad de voz, recuperación de signos de puntuación y otras funciones, especialmente optimizado para voz en chino.

Síntesis de voz

Integra múltiples herramientas avanzadas de síntesis de voz como Edge TTS, XTTS, CosyVoice, etc.

Edge TTS: servicio de conversión de texto a voz de alta calidad proporcionado por Microsoft, compatible con múltiples idiomas y estilos de voz, generando una salida de voz natural y fluida.

XTTS: un kit de herramientas avanzado de texto a voz basado en aprendizaje profundo proporcionado por Coqui, centrado en la clonación de voz y la síntesis de voz multilingüe, que puede lograr la clonación de voz y generar una salida de voz realista a partir de clips de audio cortos.

CosyVoice: un modelo de comprensión y síntesis de voz multilingüe desarrollado por el laboratorio Tongyi de Alibaba, compatible con síntesis de voz de alta calidad en varios idiomas y clonación de voz entre idiomas.

Traducción de subtítulos

Utiliza la API de OpenAI y el modelo Qwen para la traducción de subtítulos multilingüe.

API de OpenAI: utiliza GPT-4 y GPT-3.5-turbo de OpenAI para la traducción de subtítulos de alta calidad. Estos modelos son conocidos por su comprensión del lenguaje natural y su capacidad de generación de texto, y son adecuados para la generación de diálogos y el análisis de texto.

Qwen: un modelo de lenguaje de gran tamaño localizado y de código abierto, compatible con traducción multilingüe, que puede manejar de forma económica y eficiente textos en varios idiomas.

Google Translate: integra Google Translate como complemento de la función de traducción, ofreciendo una amplia compatibilidad de idiomas y una buena calidad de traducción.

Separación de sonido

Utiliza las tecnologías Demucs y UVR5 para separar la voz humana del acompañamiento musical.

|Demucs: un modelo de separación de sonido desarrollado por el equipo de investigación de Facebook, que puede separar diferentes fuentes de sonido en audio mezclado, incluyendo instrumentos, voces y sonidos de fondo. Ampliamente utilizado en la producción musical y la postproducción audiovisual.

UVR5 (Ultimate Vocal Remover): una herramienta eficiente de separación de voz y acompañamiento, capaz de extraer acompañamiento cercano al estéreo original, con un rendimiento superior al de otras herramientas similares como RX9, RipX y SpectraLayers 9.

Sincronización labial

Inspirándose en Linly-Talker, nos centramos en la tecnología de sincronización labial de humanos digitales, combinando visión por computadora y tecnología de reconocimiento de voz para hacer coincidir con exactitud la sincronización labial del personaje virtual con el doblaje, logrando un efecto de sincronización altamente natural. Esta tecnología es adecuada para diversos escenarios como personajes animados, presentadores virtuales y narración en vídeos educativos.

Procesamiento de vídeo

Linly-Dubbing ofrece funciones como añadir subtítulos, insertar música de fondo, ajustar el volumen y la velocidad de reproducción, permitiendo a los usuarios personalizar el contenido del vídeo para hacerlo más atractivo y personalizado.

Integración de yt-dlp: yt-dlp es una potente herramienta de línea de comandos de código abierto, diseñada para descargar vídeos y audio de YouTube y otros sitios web. Esta herramienta cuenta con una amplia variedad de parámetros, lo que permite a los usuarios ajustar el comportamiento de descarga según sus necesidades. Ya sea seleccionando un formato o resolución específica, o extrayendo audio, yt-dlp ofrece una solución flexible.