TaleStreamAI: автоматическое преобразование текста романа в короткие видео для продвижения 100

Что такое TaleStreamAI?

TaleStreamAI — это проект с открытым исходным кодом, обеспечивающий автоматическое преобразование текста новелл в короткие видеоролики.

Технические преимущества TaleStreamAI

• Интеллектуальное разделение на сцены: с помощью модели Gemini анализируется сюжет новеллы, длинные главы разбиваются на несколько частей, чтобы избежать обработки чрезмерного объёма контента. Для каждой сцены заранее планируются текст и сценарная раскадровка, что обеспечивает более связное повествование.

• Оптимизация промптов: модель DeepSeek-V3 дорабатывает промпты для генерации изображений, делая текстовые описания в сценах более точными и лучше соответствующими требованиям ИИ-рисования, что повышает качество и точность сгенерированных изображений.

• Точные субтитры: используются технологии обнаружения тишины и анализа речи в сочетании с моделью распознавания речи Whisper от OpenAI для генерации точных SRT-субтитров, гарантируя идеальную синхронизацию субтитров и аудио.

• Обработка видеоэффектов: разработанный на базе библиотеки MoviePy алгоритм перемещения изображений позволяет реализовать различные визуальные эффекты, такие как панорамирование, автоматически добавлять субтитры, а также поддерживает настройку разрешения и соотношения сторон видео для получения продукта профессионального уровня.

• Оптимизация управления ресурсами: благодаря сборке мусора, очистке временных файлов, оптимизации памяти и другим мерам обеспечивается стабильная длительная работа программы, которая реже даёт сбои даже при обработке большого количества видеозадач. При этом модульная архитектура, многопоточная обработка, механизмы восстановления после ошибок и другие решения делают систему более гибкой и эффективной.

Рабочий процесс TaleStreamAI

• Сбор контента: получение указанной новеллы с сайта Qidian, разбор веб-страниц с помощью библиотеки BeautifulSoup, извлечение содержимого глав и сохранение их в виде отдельных текстовых файлов.

• Создание раскадровки: большая языковая модель Gemini разбивает содержимое новеллы на несколько сцен, каждая из которых содержит контент, а также описания ракурсов на китайском и английском языках.

• Доработка промптов: модель DeepSeek-V3 дополнительно оптимизирует промпты для сцен, формируя точные инструкции, подходящие для ИИ-рисования.

• Генерация изображений: оптимизированные промпты отправляются в API Stable Diffusion (бесплатно) для получения высококачественных изображений.

• Синтез аудио: с помощью модели синтеза речи CosyVoice2 текст сцен преобразуется в естественную голосовую озвучку, поддерживается многопоточная обработка и ротация API-ключей, на выходе — аудио в формате MP3.

• Генерация субтитров: модель Whisper выполняет распознавание речи из аудио, а с помощью улучшенной технологии сегментации создаются точные файлы субтитров в формате SRT.

• Сборка отдельных сцен: изображения, аудио и субтитры объединяются, с использованием библиотеки MoviePy добавляются видеоэффекты, формируя отдельные видеофрагменты.

• Финальная сборка: с помощью функции concat из FFmpeg все видеофрагменты последовательно объединяются с оптимизацией использования памяти, и на выходе получается готовое полноценное видео.

Сценарии применения TaleStreamAI

• Продвижение новелл: авторы могут создавать видеоролики из фрагментов своих произведений, привлекая внимание большего числа читателей.

• Монетизация контента: создание коротких видео на основе общедоступных или оригинальных новелл и их публикация на различных платформах для получения дохода от трафика.

• Образовательная поддержка: преобразование литературных произведений в визуальные видеоролики, помогающие студентам понять классическую литературу.

• Медиапроизводство: создание визуального сопровождения для радиопьес и аудиокниг, расширяя формы подачи контента.

Github:https://github.com/Mubashir-414/TaleStreamAI