Krillin AI: профессиональный инструмент для перевода, озвучки и клонирования голоса на базе LLM 126

Что такое Krillin ai?

Krillin AI — это профессиональный инструмент для перевода видео, озвучивания и клонирования голоса, основанный на больших языковых моделях (LLM). Полный рабочий процесс запускается одним нажатием, что позволяет создавать контент, адаптированный для таких платформ, как Douyin, Xiaohongshu, Bilibili, Видеоаккаунты, TikTok, YouTube Shorts и других, включая Bilibili. Поддерживается перевод на 56 языков, включая китайский, английский, японский, немецкий, турецкий и многие другие. Благодаря сквозному рабочему процессу пользователю достаточно нескольких кликов, чтобы преобразовать исходный материал в кроссплатформенный контент.

Функциональные особенности Krillin AI

• Запуск полного процесса одним нажатием: не требуется сложная настройка, зависимости устанавливаются автоматически, от загрузки видео до вывода готового результата всё выполняется одним кликом.

• Многоязычная поддержка: поддерживается перевод на 56 языков, охватывающих основные мировые языки.

• Адаптация под несколько платформ: форматы контента адаптированы для Douyin, Xiaohongshu, Bilibili, TikTok, YouTube и других платформ.

• Получение видео: интеграция с yt-dlp позволяет загружать видео с YouTube, Bilibili и других платформ, а также загружать локальные видеофайлы.

• Распознавание и перевод субтитров: высокоточное распознавание субтитров с использованием модели Whisper, поддержка сервисов распознавания речи и больших моделей от ведущих провайдеров, таких как OpenAI, Alibaba Cloud и др.

• Интеллектуальная сегментация и выравнивание субтитров: использование собственных алгоритмов для интеллектуальной сегментации и выравнивания субтитров, что предотвращает смещение и потерю контекста.

• Пользовательская замена словаря: поддерживается замена слов одним нажатием для адаптации к языковому стилю конкретной предметной области.

• Профессиональный перевод: движок перевода целых абзацев обеспечивает контекстуальную согласованность и смысловую связность.

• Озвучивание и клонирование голоса: возможность выбора стандартных мужских или женских голосов для создания озвучки переведённого видео, либо загрузки локального аудиообразца для клонирования голоса.

• Видеомонтаж: одним нажатием создаются горизонтальные и вертикальные видео с автоматической обработкой субтитров, превышающих допустимую ширину.

Сценарии применения Krillin AI

• Любители кино: преодоление языкового барьера позволяет любителям кино путешествовать по мировому кинематографу без ограничений.

• Создатели контента: экономия времени и средств, быстрое создание многоязычных версий видеоконтента.

• Корпоративное обучение и международное общение: помощь транснациональным компаниям в быстром переводе обучающих видео; перевод выступлений в реальном времени на международных конференциях.

Руководство по использованию Krillin AI

1. Установка и запуск: не требуется сложная настройка, просто установите и запустите Krillin AI.

2. Импорт видео: загрузите видео с помощью встроенного yt-dlp или загрузите локальный видеофайл.

3. Распознавание и перевод субтитров: выберите целевой язык — Krillin AI автоматически выполнит распознавание и перевод субтитров.

4. Озвучивание и монтаж: выберите голос озвучки или загрузите аудиообразец для клонирования голоса, затем одним нажатием смонтируйте видео.

Основные шаги по установке Krillin AI

1. Загрузка исполняемого файла:

• Перейдите на страницу Release Krillin AI и найдите исполняемый файл, соответствующий вашей системе (например, версию для Windows или macOS).

• Поместите загруженный файл в пустую папку.

2. Настройка конфигурационного файла:

• Создайте в папке каталог с именем config.

• В каталоге config создайте файл с именем config.toml.

• Скопируйте содержимое файла config-example.toml из каталога config исходного кода Krillin AI и вставьте его в файл config.toml.

• Заполните параметры конфигурации в соответствии с вашими потребностями. Если вам необходимо использовать модели OpenAI, но вы не знаете, как получить API Key, вы можете вступить в предоставленную проектом группу QQ для бесплатного试用 (пробного использования).

3. Запуск сервиса:

• Дважды кликните по исполняемому файлу или выполните его в терминале для запуска сервиса.

• Откройте браузер и введите http://127.0.0.1:8888 (если порт был изменён в конфигурационном файле, используйте установленный вами порт).

Репозиторий на Github:https://github.com/krillinai/KrillinAI