FramePack: открытый инструмент генерации видео от команды Стэнфордского университета 68

Что такое FramePack?

FramePack — это инструмент для генерации видео с открытым исходным кодом, разработанный командой Чжан Люйминя (Lvmin Zhang), доктора наук Стэнфордского университета и автором ControlNet. Благодаря технологиям сжатия кадрового контекста и выборки с защитой от дрейфа он снимает высокий порог аппаратных требований для генерации видео с помощью ИИ.

Ключевые особенности FramePack

• Поддержка первого и последнего кадра: пользователи могут задать первый и последний кадры для генерации полноценного видеофрагмента. Создатели сосредотачиваются на ключевых изображениях, а программа автоматически заполняет промежуточную часть, что подходит для создания анимационных короткометражек или рекламных роликов.

• Пакетная генерация: поддерживается пакетная обработка нескольких видеопроектов. После настройки параметров можно одновременно сгенерировать несколько видеофайлов, что повышает эффективность работы создателей контента и подходит для подготовки серии рекламных видео для платформ социальных сетей и подобных сценариев.

• Настройка разрешения: предусмотрены гибкие возможности настройки разрешения — от высокой чёткости до сверхвысокой, а также до размеров видео, подходящих для мобильных устройств, что удовлетворяет потребности различных сценариев применения.

• Совместимость с видеокартами серии 50: поддерживаются видеокарты NVIDIA GeForce серии 50. Требование всего 6 ГБ видеопамяти делает инструмент доступным для большинства современных видеокарт. Использование GPU-ускорения вычислений сокращает время ожидания при генерации видео.

• Поддержка видео длительностью до 120 секунд: пользователи могут генерировать видео длительностью до 120 секунд, что соответствует требованиям большинства платформ коротких видео и позволяет рассказывать законченные истории и передавать информацию.

Технические преимущества FramePack

• Интеллектуальное сжатие кадров: путём изменения размера ядра Patchify в Transformer кадры с разной степенью важности сжимаются в различной степени, сжимая входной контекст до постоянной длины. Благодаря этому рабочая нагрузка генерации не увеличивается с ростом длины видео, что снижает потребление видеопамяти и повышает эффективность вычислений.

• Двунаправленная выборка с памятью: введена технология выборки с защитой от дрейфа, позволяющая модели при генерации текущего кадра ссылаться как на ближайшие кадры, так и возвращаться к ключевым признакам начального кадра. Это позволяет избежать проблемы дрейфа, характерной для традиционных моделей пошагового предсказания, повышает качество видео и даёт возможность генерировать более длинные видеопоследовательности.

• Гибкая стратегия планирования: поддерживаются различные режимы, такие как геометрическое сжатие, приоритет первого кадра, симметричное сжатие, что позволяет адаптироваться к множеству сценариев: прямые трансляции, генерация видео из изображений, учебные демонстрации и др.

Сценарии применения FramePack

• Видеомонтаж: при редактировании видео и постпродакшне помогает пользователям создавать непрерывный видеоконтент путём предсказания следующего кадра.

• Создание анимации: эффективно справляется с задачами генерации последовательных движений при создании анимации.

• Разработка игр: обеспечивает генерацию кадров в реальном времени для разработки игр, способствуя получению видеообратной связи в реальном времени.

• Образовательные приложения: помогает педагогам нагляднее представлять учебный материал, например, пакетно создавать динамические учебные материалы.

Установка и использование FramePack

Шаги установки

1. Подготовка окружения

• Необходимо установить Python, рекомендуется версия 3.9 или выше.

• GPU: GPU Nvidia с поддержкой fp16 и bf16, например серии RTX 30XX, 40XX, 50XX.

• Операционная система: Linux или Windows.

• Видеопамять GPU: не менее 6 ГБ.

2. Клонирование репозитория

Откройте терминал или командную строку и выполните следующую команду для клонирования репозитория FramePack на GitHub:

git clone https://github.com/lllyasviel/FramePack.git
cd FramePack

3. Создание и активация виртуального окружения

python -m venv framepack_env
# вWindows
.\framepack_env\Scripts\activate
# вLinuxилиmacOS
source framepack_env/bin/activate

4. Установка зависимостей

После активации виртуального окружения установите необходимые для проекта зависимости:

pip install -r requirements.txt

Инструкция по использованию

1. Настройка параметров

В каталоге проекта найдите файл конфигурации (обычно в формате .yaml) и измените параметры в соответствии с вашими потребностями, например разрешение видео, длительность, режим генерации и т. д.

2. Генерация видео

Подготовьте изображения первого и последнего кадров и поместите их в указанную папку. Затем выполните в терминале следующую команду для генерации видео:

python main.py --input_path /path/to/input/images --output_path /path/to/output/video

где /path/to/input/images — путь к папке с изображениями первого и последнего кадров, а /path/to/output/video — путь сохранения сгенерированного видео.

3. Просмотр результата

После завершения генерации вы можете найти сгенерированный видеофайл по указанному пути вывода и просмотреть его с помощью видеоплеера.

Полезные ссылки

Адрес на GitHub: https://github.com/lllyasviel/FramePack

Официальный сайт проекта: https://lllyasviel.github.io/frame_pack_gitpage/

Техническая документация: https://lllyasviel.github.io/frame_pack_gitpage/pack.pdf