Linly-Dubbing: Intelligent KI-Tool für mehrsprachiges Video-Dubbing und Video-Übersetzung 127

Linly-Dubbing ist ein Open-Source-Mehrsprachen-KI-Synchronisations- und Videoübersetzungswerkzeug. Linly-Dubbing kann Videos automatisch in andere Sprachen übersetzen und Untertitel generieren, die Stimme der Sprecher im Video klonen und automatisch synchronisieren sowie Lippensynchronisation durchführen.

Hauptmerkmale von Linly-Dubbing:

• Automatischer Video-Download: Unterstützt das Herunterladen von Videos von Websites wie YouTube

• Mehrsprachige Unterstützung: Unterstützt Synchronisation und Untertitelübersetzung in Chinesisch und vielen anderen Sprachen.

• KI-Spracherkennung: Präzise Spracherkennung, Sprachtextumwandlung und Sprecheridentifikation.

• LLM-Übersetzung: Kombiniert führende große Sprachmodelle (wie GPT), um schnell und genau zu übersetzen und so die Professionalität und Natürlichkeit der Übersetzung zu gewährleisten.

• Stimmklonung: Durch Stimmklonungstechnologie wird eine Stimme erzeugt, die der Originalsynchronisation des Videos sehr ähnlich ist und Emotionen sowie Tonfall konsistent beibehält.

• Lippensynchronisation: Durch die Beibehaltung der Lippensynchronisation kann die Synchronisation hochgradig mit dem Videobild übereinstimmen, was die Authentizität und Interaktivität des Videos verbessert.

• Flexibles Hochladen und Übersetzen: Benutzer können Videos hochladen und Übersetzungssprache sowie -standards auswählen, um Personalisierung und Flexibilität sicherzustellen.

Technische Details von Linly-Dubbing

Spracherkennung

WhisperX: Eine Erweiterung des OpenAI-Whisper-Spracherkennungssystems, die Sprachinhalte in Text transkribieren, präzise an Videobilder ausrichten, zeitgestempelte Untertiteldateien erzeugen und die Erkennung mehrerer Sprecher unterstützen kann.

FunASR: Ein umfassendes Spracherkennungs-Toolkit, das Spracherkennung, Sprachaktivitätserkennung, Wiederherstellung von Satzzeichen und mehr bietet und speziell für chinesische Sprache optimiert ist.

Sprachsynthese

Integriert mehrere fortschrittliche Sprachsynthese-Tools wie Edge TTS, XTTS, CosyVoice.

Edge TTS: Ein von Microsoft bereitgestellter hochwertiger Text-zu-Sprache-Dienst, der mehrere Sprachen und Stimmstile unterstützt und natürlich fließende Sprachausgabe erzeugt.

XTTS: Ein fortschrittliches Deep-Learning-Text-zu-Sprache-Toolkit von Coqui, das sich auf Stimmklonung und mehrsprachige Sprachsynthese konzentriert und durch kurze Audiofragmente Stimmklonung sowie realitätsnahe Sprachausgabe ermöglicht.

CosyVoice: Ein vom Tongyi-Labor von Alibaba entwickeltes mehrsprachiges Sprachverstehens- und Synthesemodell, das hochwertige Sprachsynthese und sprachübergreifende Stimmklonung in mehreren Sprachen unterstützt.

Untertitelübersetzung

Verwendet die OpenAI-API und das Qwen-Modell für mehrsprachige Untertitelübersetzung.

OpenAI-API: Verwendet OpenAIs GPT-4 und GPT-3.5-turbo für hochwertige Untertitelübersetzung. Diese Modelle sind bekannt für ihre Fähigkeiten im Sprachverständnis und in der Textgenerierung und eignen sich für Dialoggenerierung und Textanalyse.

Qwen: Ein Open-Source-lokalisiertes großes Sprachmodell, das mehrsprachige Übersetzung unterstützt und Texte in vielen Sprachen kostengünstig verarbeiten kann.

Google Translate: Als Ergänzung der Übersetzungsfunktion integriert, bietet umfassende Sprachunterstützung und gute Übersetzungsqualität.

Stimmtrennung

Verwendet Demucs- und UVR5-Technologie, um Stimme von Begleitung zu trennen.

|Demucs: Ein vom Facebook-Forschungsteam entwickeltes Stimmtrennungsmodell, das verschiedene Schallquellen in gemischtem Audio trennen kann, einschließlich Instrumente, Gesang und Hintergrundgeräusche. Weit verbreitet in Musikproduktion und Film-/Fernseh-Postproduktion.

UVR5 (Ultimate Vocal Remover): Ein hocheffizientes Werkzeug zur Trennung von Gesang und Begleitung, das Begleitung in nahezu Original-Stereoqualität extrahieren kann und eine bessere Leistung als andere ähnliche Werkzeuge wie RX9, RipX und SpectraLayers 9 bietet.

Lippensynchronisation

Angelehnt an Linly-Talker konzentrieren wir uns auf Digitalmensch-Lippensynchronisationstechnologie, die Computer Vision und Spracherkennung kombiniert, um die Lippensynchronisation virtueller Charaktere präzise an die Synchronisation anzupassen und hochgradig natürliche Synchronisationseffekte zu erzielen. Diese Technologie eignet sich für verschiedene Szenarien wie animierte Figuren, virtuelle Moderatoren und Erzählungen in Lehrvideos.

Videobearbeitung

Linly-Dubbing bietet Funktionen wie das Hinzufügen von Untertiteln, das Einfügen von Hintergrundmusik, die Anpassung von Lautstärke und Wiedergabegeschwindigkeit. Benutzer können Videoinhalte individuell anpassen, um sie ansprechender und persönlicher zu gestalten.

Integration von yt-dlp: yt-dlp ist ein leistungsstarkes Open-Source-Befehlszeilen-Tool, das für das Herunterladen von Videos und Audio von YouTube und anderen Websites entwickelt wurde. Dieses Tool bietet umfangreiche Parameteroptionen, mit denen Benutzer das Downloadverhalten nach ihren Bedürfnissen feinabstimmen können. Ob die Auswahl bestimmter Formate und Auflösungen oder das Extrahieren von Audio – yt-dlp bietet eine flexible Lösung.