Linly-Dubbing : outil intelligent d'IA pour le doublage et la traduction vidéo multilingues 128

Linly-Dubbing est un outil open source multilingue de IA doublage et de vidéo traduction outil. Linly-Dubbing peut traduire automatiquement les vidéos dans d'autres langues, générer des sous-titres, cloner la voix des intervenants de la vidéo et effectuer automatiquement le doublage ainsi que la synchronisation labiale.

Caractéristiques principales de Linly-Dubbing :

• Téléchargement automatique de vidéos : prend en charge le téléchargement de vidéos depuis YouTube et d'autres sites web

• Prise en charge multilingue : prend en charge le doublage et la traduction de sous-titres en chinois et dans de nombreuses autres langues.

• Reconnaissance vocale par IA : reconnaissance vocale précise, conversion voix-texte et identification des locuteurs.

• Traduction par LLM : en combinant de grands modèles linguistiques de pointe (tels que GPT), il peut traduire rapidement et avec précision, garantissant le caractère professionnel et naturel de la traduction.

• Clonage vocal : grâce à la technologie de clonage vocal, génère une voix très similaire au doublage original de la vidéo, en préservant la cohérence des émotions et du ton.

• Synchronisation labiale : en maintenant la synchronisation labiale, le doublage peut être hautement cohérent avec les images vidéo, améliorant ainsi le réalisme et l'interactivité de la vidéo.

• Téléchargement et traduction flexibles : les utilisateurs peuvent télécharger des vidéos et choisir la langue et les normes de traduction, afin d'assurer la personnalisation et la flexibilité.

Détails techniques de Linly-Dubbing

Reconnaissance vocale

WhisperX : une extension du système de reconnaissance vocale OpenAI Whisper, capable de transcrire le contenu vocal en texte, de l'aligner précisément avec les images vidéo, de générer des fichiers de sous-titres horodatés et de prendre en charge la reconnaissance multi-locuteurs.

FunASR : une boîte à outils complète de reconnaissance vocale offrant reconnaissance vocale, détection d'activité vocale, restauration de la ponctuation, etc., particulièrement optimisée pour la voix chinoise.

Synthèse vocale

Intègre plusieurs outils avancés de synthèse vocale tels que Edge TTS, XTTS, CosyVoice.

Edge TTS : service de conversion texte-parole de haute qualité fourni par Microsoft, prenant en charge plusieurs langues et styles vocaux, générant une sortie vocale naturelle et fluide.

XTTS : boîte à outils avancée de synthèse vocale par apprentissage profond fournie par Coqui, spécialisée dans le clonage vocal et la synthèse vocale multilingue, capable de réaliser un clonage vocal à partir de courts extraits audio et de générer une sortie vocale réaliste.

CosyVoice : modèle de compréhension et de synthèse vocale multilingue développé par le laboratoire Tongyi d'Alibaba, prenant en charge la synthèse vocale de haute qualité dans plusieurs langues ainsi que le clonage vocal inter-langues.

Traduction des sous-titres

Utilise l'API OpenAI et le modèle Qwen pour la traduction multilingue des sous-titres.

API OpenAI : utilise GPT-4 et GPT-3.5-turbo d'OpenAI pour une traduction de sous-titres de haute qualité. Ces modèles sont reconnus pour leurs capacités de compréhension du langage naturel et de génération de texte, et conviennent à la génération de dialogues et à l'analyse de texte.

Qwen : grand modèle linguistique localisé open source, prenant en charge la traduction multilingue, capable de traiter économiquement et efficacement des textes dans plusieurs langues.

Google Translate : intégré comme complément à la fonction de traduction, offrant une prise en charge linguistique étendue et une bonne qualité de traduction.

Séparation des sources sonores

Utilise les technologies Demucs et UVR5 pour séparer la voix de l'accompagnement musical.

|Demucs : modèle de séparation des sources sonores développé par l'équipe de recherche de Facebook, capable de séparer différentes sources sonores dans un audio mixé, y compris les instruments, la voix et les sons d'arrière-plan. Largement utilisé dans la production musicale et la post-production audiovisuelle.

UVR5 (Ultimate Vocal Remover) : outil de séparation voix/accompagnement très efficace, capable d'extraire un accompagnement proche du stéréo original, avec des performances supérieures à celles d'autres outils similaires comme RX9, RipX et SpectraLayers 9.

Synchronisation labiale

En s'inspirant de Linly-Talker, nous nous concentrons sur la technologie de synchronisation labiale pour humain numérique, combinant la vision par ordinateur et la reconnaissance vocale, afin d'aligner précisément la synchronisation labiale du personnage virtuel avec le doublage, pour obtenir un effet de synchronisation hautement naturel. Cette technologie convient à de nombreux scénarios tels que les personnages animés, les présentateurs virtuels et les voix off dans les vidéos éducatives.

Traitement vidéo

Linly-Dubbing offre des fonctionnalités telles que l'ajout de sous-titres, l'insertion de musique de fond, le réglage du volume et de la vitesse de lecture. Les utilisateurs peuvent personnaliser le contenu vidéo pour le rendre plus attractif et personnalisé.

Intégration de yt-dlp : yt-dlp est un outil en ligne de commande open source puissant, conçu pour télécharger des vidéos et de l'audio depuis YouTube et d'autres sites web. Cet outil dispose d'un large éventail d'options de paramètres, permettant aux utilisateurs d'affiner le comportement de téléchargement selon leurs besoins. Que ce soit pour sélectionner un format spécifique, une résolution ou extraire l'audio, yt-dlp offre une solution flexible.