StoryMem: открытый ИИ-инструмент ByteDance для генерации многосценовых длинных видео 92

Открытый фреймворк ByteDance и Наньянского технологического университета для создания длинных ИИ-видео. Превращает существующие модели диффузии однокадрового видео в инструмент для многосценовых фильмов: благодаря визуальному банку памяти генерирует последовательные истории из 8–12 кадров длительностью 40–60 секунд с неизменными персонажами и стилем сцен.

#Ai工具箱 #Ai开源项目

Перейти StoryMem: открытый ИИ-инструмент ByteDance для генерации многосценовых длинных видео

StoryMem: открытый ИИ-инструмент ByteDance для генерации многосценовых длинных видеоОписание

StoryMem — это инструмент для генерации многокадровых длинных видео на основе AI с открытым исходным кодом, разработанный ByteDance совместно с Наньянским технологическим университетом. Основная задача — решить проблему несогласованности внешности персонажей и визуального стиля между кадрами в многокадровом видео. Он превращает существующие модели диффузии однокадрового видео в инструмент для создания многокадровых короткометражных фильмов: благодаря визуальной базе памяти он формирует непрерывную историю длительностью 40–60 секунд с 8–12 кадрами, в которой облик персонажей и стиль сцен остаются неизменными.

С технической точки зрения StoryMem построен на базе модели Wan2.2: путём дообучения в него добавлен механизм обработки памяти. При генерации сначала создаётся первый кадр как отправная точка памяти, после чего каждый новый кадр опирается на содержимое предыдущей памяти и постоянно обновляет её, обеспечивая общую согласованность видео.

Функциональные особенности StoryMem

Memory-to-Video (M2V): с помощью LoRA ключевые кадры из прошлого «вмешиваются» в текущий шум — достаточно небольшой настройки, чтобы разные кадры выглядели единообразно.
Динамическая база памяти: хранится до 10 ключевых кадров; отбор сначала выполняется по смыслу с помощью CLIP, затем по эстетике — через HPSv3, при этом неудачные кадры автоматически отбрасываются.
Три способа расширения:

MI2V: в качестве условия используется изображение первого кадра — переходы получаются более плавными;
MM2V: в качестве условия берутся движения из предыдущих пяти кадров — динамика выглядит естественнее;
MR2V: можно загрузить собственное изображение в качестве начальной памяти и задать лицо главного героя.

Результат: по сравнению с существующими методами согласованность повышена на 29% при сохранении высокого качества изображения и точного соответствия подсказкам исходной модели.

Сценарии применения StoryMem

Рекламные ролики: по готовому сценарию быстро создаются несколько динамических раскадровок, что удобно для A/B-тестирования.
Препродакшн в кино и на ТВ: текстовый раскадровочный план сразу превращается в визуальные сцены, экономя средства на раннюю проработку идей.
Короткие видео и независимое творчество: без специальных навыков можно создавать минутные ролики, похожие на кино.
Образование и корпоративное обучение: исторические реконструкции, объяснение научных концепций, демонстрация продуктов — всё можно сделать в один клик.

Как пользоваться StoryMem

Клонировать репозиторий:
git clone https://github.com/Kevin-thu/StoryMem
Установить зависимости:
pip install -r requirements.txt
Подготовить сценарий: по образцу составить подсказки для нескольких кадров либо воспользоваться 300 готовыми шаблонами историй из ST-Bench.
Запустить генерацию:
python inference.py --prompt "ваш сценарий" --length 60 --memory_size 10
Дополнительные возможности:
для плавных переходов добавьте --mi2v
чтобы задать собственного главного героя, добавьте --ref_image path/to/face.jpg --mr2v