Linly-Dubbing: интеллектуальный ИИ-инструмент для многоязычного дубляжа и перевода видео 125

Linly-Dubbing — это инструмент с открытым исходным кодом для многоязычного AI-озвучивания и перевода видео. Linly-Dubbing может автоматически переводить видео на другие языки и генерировать субтитры, клонировать голос говорящего в видео и выполнять автоматическое озвучивание, а также синхронизировать движение губ.

Основные возможности Linly-Dubbing:

• Автоматическая загрузка видео: поддержка скачивания видео с таких сайтов, как YouTube

• Многоязычная поддержка: поддержка озвучивания и перевода субтитров на китайский и множество других языков.

• AI-распознавание речи: точное распознавание речи, преобразование речи в текст и идентификация говорящего.

• Перевод с помощью LLM: в сочетании с ведущими большими языковыми моделями (например, GPT) обеспечивает быстрый и точный перевод, гарантируя его профессионализм и естественность.

• Клонирование голоса: технология клонирования голоса позволяет генерировать звук, максимально похожий на оригинальную озвучку видео, сохраняя согласованность эмоций и интонации.

• Синхронизация губ: благодаря сохранению синхронизации губ озвучка может точно соответствовать видеоряду, повышая реалистичность и интерактивность видео.

• Гибкая загрузка и перевод: пользователи могут загружать видео и выбирать язык и стандарт перевода для обеспечения персонализации и гибкости.

Технические детали Linly-Dubbing

Распознавание речи

WhisperX: расширение системы распознавания речи OpenAI Whisper, которое может транскрибировать речевой контент в текст, точно согласовывая его с видеокадрами, генерировать файлы субтитров с временными метками и поддерживать распознавание нескольких говорящих.

FunASR: комплексный набор инструментов для распознавания речи, предоставляющий функции распознавания речи, обнаружения речевой активности, восстановления пунктуации и др., специально оптимизированный для китайской речи.

Синтез речи

Интегрированы несколько передовых инструментов синтеза речи, таких как Edge TTS, XTTS, CosyVoice.

Edge TTS: высококачественный сервис преобразования текста в речь от Microsoft, поддерживающий множество языков и стилей голоса и генерирующий естественное и плавное звучание.

XTTS: продвинутый набор инструментов глубокого обучения для преобразования текста в речь от Coqui, ориентированный на клонирование голоса и многоязычный синтез речи, позволяющий клонировать голос по коротким аудиофрагментам и генерировать реалистичное звучание.

CosyVoice: многоязычная модель понимания и синтеза речи, разработанная лабораторией Tongyi от Alibaba, поддерживающая высококачественный синтез речи на нескольких языках и межъязыковое клонирование голоса.

Перевод субтитров

Для многоязычного перевода субтитров используются OpenAI API и модель Qwen.

OpenAI API: использует GPT-4 и GPT-3.5-turbo от OpenAI для высококачественного перевода субтитров. Эти модели известны своими возможностями понимания естественного языка и генерации текста и подходят для генерации диалогов и анализа текста.

Qwen: открытая локализованная большая языковая модель, поддерживающая многоязычный перевод и способная экономично обрабатывать тексты на различных языках.

Google Translate: интегрирован в качестве дополнения к функции перевода, обеспечивая широкую языковую поддержку и хорошее качество перевода.

Разделение звука

Для отделения вокала от аккомпанемента используются технологии Demucs и UVR5.

Demucs: модель разделения звука, разработанная исследовательской группой Facebook, способная разделять различные источники звука в смешанном аудио, включая инструменты, вокал и фоновые звуки. Широко используется в создании музыки и постпродакшене фильмов и видео.

UVR5 (Ultimate Vocal Remover): высокоэффективный инструмент для отделения вокала от аккомпанемента, способный извлекать аккомпанемент, близкий к исходному стереозвуку, превосходящий по производительности другие аналогичные инструменты, такие как RX9, RipX и SpectraLayers 9.

Синхронизация губ

Опираясь на Linly-Talker, мы фокусируемся на технологии синхронизации губ цифрового человека, объединяя компьютерное зрение и распознавание речи для точного согласования движений губ виртуального персонажа с озвучкой, достигая высоко естественного эффекта синхронизации. Эта технология подходит для различных сценариев, таких как анимационные персонажи, виртуальные ведущие, закадровый голос в образовательных видео.

Обработка видео

Linly-Dubbing предоставляет такие функции, как добавление субтитров, вставка фоновой музыки, регулировка громкости и скорости воспроизведения, позволяя пользователям настраивать видеоконтент, делая его более привлекательным и персонализированным.

Интеграция с yt-dlp: yt-dlp — это мощный инструмент командной строки с открытым исходным кодом, предназначенный для скачивания видео и аудио с YouTube и других сайтов. Инструмент имеет широкий набор параметров, позволяющих пользователям точно настраивать поведение загрузки в соответствии со своими потребностями. Будь то выбор определённого формата, разрешения или извлечение аудио — yt-dlp предоставляет гибкие решения.