SketchVideo: метод управляемой генерации и редактирования видео на основе скетчей 74

Что такое SketchVideo?

SketchVideo — это проект с открытым исходным кодом, основанный на эскизах (линейных рисунках) метод управляемой генерации и редактирования видео, предложенный исследователями из Университета Китайской академии наук, Гонконгского университета науки и технологий и команды Kuaishou Kling. Он опирается на три ключевые технологии — интеллектуальное прогнозирование движения, мультимодальное управление и рендеринг в реальном времени, — которые делают создание анимации простым. Этот проект полезен в таких областях, как маркетинг, образование и персональное творческое представление, он привлекает зрителей и вызывает эмоциональный отклик, являясь представителем новых форм видео.

Функциональные возможности SketchVideo

• Генерация видео: пользователю достаточно предоставить эскиз одного или двух кадров вместе с текстовой подсказкой, и SketchVideo сгенерирует высококачественное видео. Например, нарисовав простой контур животного и добавив текстовое описание «бежит по лесу», можно получить видео, на котором это животное бежит по лесу.

• Редактирование видео: имея реальное видео, пользователь может указать область редактирования и нарисовать эскиз для локальной модификации. Например, в видео с человеком можно изменить причёску персонажа, и новая причёска будет естественно меняться в соответствии с движениями его головы.

• Динамическое управление: поддерживается интерполяция и экстраполяция движения — пользователь может управлять состоянием движения объекта, рисуя эскизы различных ключевых кадров.

• Сохранение деталей: при редактировании видео сохраняются детали неизменённых областей, что обеспечивает естественный и согласованный визуальный результат.

• Эффективная генерация: применяются технологии оптимизации памяти, что позволяет быстро создавать высококачественное видео. Например, модель SketchGen генерирует один кадр видео на GPU A100 примерно за 95 секунд.

Технические принципы SketchVideo

• Сеть условий по эскизу: на основе модели генерации видео DiT разработана специализированная сеть условий по эскизу. Она содержит несколько блоков управления эскизом, которые прогнозируют остаточные признаки пропущенных блоков DiT и внедряют управляющие сигналы в признаки различных уровней.

• Межкадровый механизм внимания: путём вычисления взаимосвязей между скрытыми признаками всех кадров и скрытыми признаками управляющих кадров условия эскиза из ключевых кадров распространяются на все кадры видео, обеспечивая пространственно-временное распространение признаков эскиза.

• Модуль вставки видео: в задачах редактирования видео этот модуль анализирует связь между входным эскизом и исходным видео и генерирует новое содержимое, согласованное с исходным видео в пространстве и времени.

• Технология латентного слияния: в процессе инференса на основе DDIM-инверсии генерируются шумовые латентные коды входного видео. В неизменённых областях эти латентные коды заменяются, что позволяет сохранить детали исходного видео.

• Гибридная стратегия обучения: обучение ведётся на комбинации изображений и видео. Сначала данные изображений и видео используются для ускорения сходимости и решения проблемы ограниченного объёма видеоданных; затем видеоданные применяются для дальнейшей оптимизации временной согласованности.

Преимущества SketchVideo

• Снижение порога входа: позволяет обычным пользователям без специальных знаний и навыков легко создавать видео с помощью эскизов и текста, раскрывая творческий потенциал каждого.

• Точный контроль деталей: благодаря прогнозированию и внедрению управляющих сигналов на различных уровнях признаков через сеть условий по эскизу можно детально описывать и воспроизводить каждый элемент — от формы и положения объектов до общей композиции сцены.

• Эффективность и удобство: используется модель генерации видео на базе DiT с инновационным добавлением блоков управления эскизом и механизма межкадрового внимания, что обеспечивает высокое качество результата при эффективной оптимизации памяти, быструю генерацию видео и экономию времени на создание контента.

Сценарии применения SketchVideo

• Кинопроизводство: может использоваться для быстрой генерации анимационных видео, а также для добавления спецэффектов и изменения сцен в фильмах.

• Создание коротких видео: авторы могут легко создавать персонализированный короткий видеоконтент, такой как анимационные истории в стиле рисованной графики, креативная реклама и т. д.

• Виртуальное моделирование: при построении виртуальных сцен с помощью эскизов можно оперативно генерировать динамические виртуальные среды для игровой разработки, виртуального обучения и других областей.

Информация о проекте

Статья:https://arxiv.org/abs/2503.23284

Официальный сайт проекта:http://geometrylearning.com/SketchVideo

Репозиторий на GitHub:https://github.com/IGLICT/SketchVideo