MotionFollower: перенос движений персонажа из одного видео в другое 191

В динамичной области видео монтажа возможность бесшовного переноса движений из одного видео в другое всегда была желанной функцией. MotionFollower выступает в качестве революционного решения, позволяющего выполнять точное редактирование движений с сохранением фона и внешности главного героя исходного видео. Эта лёгкая диффузионная модель с управлением по оценкам (score-guided) переосмысливает возможности редактирования движений в видео, обеспечивая непревзойдённую производительность и эффективность.

Например, представим, что у нас есть два видео:

Исходное видео: живописное видео парка, в котором главный герой — женщина в красной одежде, стоящая без движения.

Целевое видео: танцевальное видео, в котором главный герой — мужчина в синей одежде, танцующий.

С помощью MotionFollower можно перенести танцевальные движения мужчины из целевого видео на женщину из исходного видео.

При этом при переносе информации о движении на персонажа исходного видео сохраняется его внешность, включая одежду, черты лица и другие характеристики, изменяются только его движения.

Технические особенности:

MotionFollower выделяется тем, что решает задачу изменения информации о движении в видео без ущерба для внешности исходного главного героя и фона. MotionFollower использует лёгкие сигнальные контроллеры для управления позой и внешностью, интегрируя эти управления в процесс денойзинга через свёрточные блоки, что избавляет от необходимости выполнять ресурсоёмкие вычисления внимания. Модель применяет двухветвевую архитектуру с ветвями реконструкции и редактирования, обеспечивая сохранение текстурных деталей и сложного фона под управлением принципов направления по оценкам.

Обзор архитектуры. Во время обучения обучаемыми являются два лёгких сигнальных контроллера и U-Net.

В основе MotionFollower лежит способность управлять движениями путём кодирования целевой позы и исходной внешности в виде дискретных сигналов. Принципы направления по оценкам усиливают моделирующую способность, добавляя соответствующее руководство в процесс оценки для поддержания согласованности между исходным и отредактированным видео. Такой подход значительно снижает потребление видеопамяти GPU (до 80% по сравнению с ведущими конкурентами, такими как MotionEditor), одновременно обеспечивая превосходную производительность при работе с масштабными движениями камеры и сложным фоном.

Качественное сравнение нашего MotionFollower с другими самыми передовыми моделями

Отраслевые применения:

Применение MotionFollower охватывает множество отраслей. В индустрии развлечений он позволяет монтажёрам переносить сложные танцевальные движения или последовательности действий из референсного видео в новый контент, что революционизирует создание видео, позволяя создавать впечатляющие визуальные эффекты без масштабных пересъёмок. В рекламе бренды могут создавать динамичные рекламные ролики, в которых продукты взаимодействуют с изменяющейся средой, повышая вовлечённость зрителей и креативность. Кроме того, в области спортивного анализа MotionFollower может использоваться для анализа движений спортсменов, помогая тренерам и наставникам разрабатывать лучшие программы подготовки с помощью визуализации и сравнения техник.

Перспективы на будущее:

Заглядывая вперёд, MotionFollower закладывает основу для дальнейшего развития технологий видеомонтажа. Будущие разработки могут включать возможности редактирования движений в реальном времени, расширяя его применение в прямых трансляциях и интерактивных experiences виртуальной реальности. Интеграция улучшений на основе искусственного интеллекта будет продолжать раздвигать границы, позволяя осуществлять более точный и креативный контроль над видеоконтентом. По мере развития технологии она откроет новую эру видеопроизводства, где единственным ограничением станет предел воображения.

MotionFollower — это не просто инструмент; это катализатор инноваций в видеомонтаже. Предлагая лёгкое, эффективное и действенное решение для переноса движений, он открывает новые возможности для создателей контента в различных областях. Эта революционная модель задаёт новый стандарт динамичного видеомонтажа, делая сложное и высококачественное редактирование доступным для всех.