Помощник сценариста▸ 
AI Приложения 
AI Новости 
Story Flicks — открытый инструмент для создания коротких HD-видео с историями
Story Flicks — открытый инструмент для создания коротких HD-видео с историямиОписание
Story Flicks — это инструмент с открытым исходным кодом для генерации коротких видео с историями, созданный на основе ИИ-моделей. Он объединяет передовые языковые модели и технологии генерации изображений: на основе введённой пользователем темы истории он способен быстро создавать видеоролики, содержащие сгенерированные ИИ изображения, текст истории и аудиодорожку. В первую очередь сервис предоставляет возможность создания HD-короткометражек в один клик и отлично подходит для авторов контента, преподавателей и маркетологов, которым необходимо быстро производить визуальный контент.
Функциональные особенности:
Интеллектуальная генерация: пользователю достаточно ввести тему или ключевые слова истории, и система автоматически создаст соответствующее короткое видео, причём за короткое время может быть предложено несколько креативных вариантов.
Поддержка нескольких языков: Story Flicks поддерживает множество языков — пользователь может выбрать подходящий язык для генерации контента в соответствии со своими потребностями, что повышает удобство и гибкость использования.
Сочетание изображений и аудио: помимо генерации текстового содержания и сюжета истории, Story Flicks также добавляет в видео изображения, созданные ИИ, и фоновые звуковые эффекты, что в целом усиливает зрелищность ролика.
Мультимодальная генерация: Story Flicks выполняет интеллектуальный анализ с помощью большой языковой модели (LLM), способен комплексно формировать нарративную структуру и одновременно объединять визуальные, звуковые и текстовые элементы. Иными словами, он не только создаёт текстовую историю, но и автоматически генерирует соответствующие сюжету ИИ-изображения, динамическую голосовую озвучку и интеллектуальные субтитры.
Генерация изображений с помощью ИИ: Story Flicks использует технологии генерации изображений, создавая выразительные визуальные эффекты для сцен и персонажей истории, что обеспечивает высокую визуальную привлекательность сгенерированного видеоконтента.
Комплексное создание аудио: включает динамическую голосовую озвучку, а значит, пользователю не нужно отдельно записывать или искать аудиоматериалы — система автоматически сгенерирует речь в соответствии с содержанием истории.
Интеллектуальные субтитры: субтитры расставляются автоматически, что облегчает восприятие видеоконтента людьми с нарушениями слуха и повышает доступность ролика.
Технологический стек: бэкенд реализован на Python и FastAPI, фронтенд — на React, Ant Design и Vite, что обеспечивает высокую эффективность и стабильность работы системы, а также удобство разработки.
Сценарии применения:
Создание креативного контента: подходит для блогеров коротких видео, авторов в соцсетях и маркетологов, позволяя быстро создавать выразительные визуальные истории и повышать эффективность работы.
Образование и обучение: чрезвычайно полезен в сфере образования — позволяет предоставлять учащимся наглядные учебные материалы, например образовательные короткие видеоролики.
Развлечения и реклама: специалисты индустрии развлечений и рекламные продюсеры могут с его помощью быстро создавать рекламные ролики.
Личное использование: обычные пользователи также могут легко создавать памятные видео, делиться историями и т. п.
Как пользоваться Story Flicks:
1. Скачайте проект:
git clone https://github.com/alecm20/story-flicks.git
2. Настройка информации о моделях
# 先切换到项目的 backend 目录下 cd backend cp .env.example .env text_provider="openai" # 文本生成模型的提供商，目前支持 openai和 aliyun、deepseek、ollama、siliconflow，阿里云文档：https://www.aliyun.com/product/bailian image_provider="aliyun" # 图片生成模型的提供商，目前支持 openai和 aliyun、siliconflow openai_base_url="https://api.openai.com/v1" # openai 的 baseUrl aliyun_base_url="https://dashscope.aliyuncs.com/compatible-mode/v1" # 阿里云的 baseUrl deepseek_base_url="https://api.deepseek.com/v1" # deepseek 的 baseUrl ollama_base_url="http://localhost:11434/v1" # ollama 的 baseUrl siliconflow_base_url="https://api.siliconflow.cn/v1" # siliconflow 的 baseUrl openai_api_key= # openai 的 api key，可以只填一个 aliyun_api_key= # 阿里云百炼的 api key，可以只填一个 deepseek_api_key= # deepseek 的 api key，目前该 api_key 只支持文本生成 ollama_api_key= # 如果需要使用的话，请填写ollama，目前该 api_key 只支持文本生成，并且不能用参数量太小的模型，推荐qwen2.5:14b 或者更大的模型。 siliconflow_api_key= # siliconflow 的文本模型目前只支持兼容 OpenAI 格式的大模型，如：Qwen/Qwen2.5-7B-Instruct。图像模型只测试了：black-forest-labs/FLUX.1-dev text_llm_model=gpt-4o # 如果 text_provider 设置为 openai，这里只能填 OpenAI 的模型，如：gpt-4o。如果设置了 aliyun，可以填阿里云的大模型，如：qwen-plus 或者 qwen-max。ollama 的模型不能使用体积太小的模型，否则无法输出正确的 json，可以使用如：qwen2.5:14b 或更大的模型。 image_llm_model=flux-dev # 如果 image_provider 设置为 openai，这里只能填 OpenAI 的模型，如：dall-e-3。如果设置了 aliyun，可以填阿里云的大模型，阿里云推荐使用：flux-dev，目前可以免费试用，具体参考：https://help.aliyun.com/zh/model-studio/getting-started/models#a1a9f05a675m4。
3. Запустите проект через docker
В корневом каталоге проекта выполните:
docker-compose up --build
4. Начало работы
Введите тему истории: в интерфейсе инструмента генерации выберите провайдера текстовой модели, провайдера модели генерации изображений, текстовую модель, модель генерации изображений, язык видео, голос, тему истории и абзацы истории.
Генерация видео: после нажатия кнопки генерации система начнёт обработку с использованием технологий ИИ и за несколько секунд создаст готовое видео.
Связанные материалы:
