Boximator: генерация разнообразных управляемых движений для видеосинтеза 294

Boximator — это инструмент для редактирования видео, представленный ByteDance, который позволяет пользователям управлять траекторией движения объектов в генерируемом видео с помощью простых действий. Объекты будут двигаться строго в соответствии с заданными пользователем позициями и путями. Инновационность этого инструмента заключается в интуитивно понятном взаимодействии: вы можете выбрать объект, который необходимо переместить, а затем нарисовать его конечную позицию и путь движения — и он будет двигаться строго по указанным вами позиции и траектории. По сравнению с кистью движения в Runway, Boximator обеспечивает более точный контроль над конечной позицией движения объекта.

Документация Boximator: https://arxiv.org/abs/2402.01566

Демонстрация Boximator: https://boximator.github.io/#Demo

Проект Boximator: https://boximator.github.io/

Основные функции Boximator:

• Управление траекторией: пользователи могут просто и наглядно задавать траекторию движения объектов в видео с помощью выделения рамкой.

• Поддержка нескольких объектов: Boximator позволяет одновременно выделять несколько объектов и задавать для каждого из них свой путь движения.

• Настройка маршрута: помимо базового перемещения из точки в точку, пользователи могут задавать конкретные маршруты движения для объектов в видео.

• Совместимость с плагинами: Boximator совместим с видеомоделями SD и может использоваться в качестве плагина, что повышает гибкость и разнообразие видеомонтажа.

• Удобство для пользователя: работа с Boximator проста и интуитивно понятна; для управления видеоконтентом не требуются глубокие знания в области видеомонтажа.
  

• Высокая совместимость: совместим с популярными видеомоделями SD и может использоваться как плагин, открывая более широкие возможности применения.

• Инновационное взаимодействие: инновационный способ выделения рамкой делает видеомонтаж более наглядным и удобным.

Сценарии применения Boximator:

• Создание видеоконтента: для видеокреаторов Boximator предоставляет новое средство для создания динамичных видеороликов.

• Создание анимации: для аниматоров инструмент упрощает процесс проектирования траекторий движения персонажей или объектов.

• Образовательные демонстрации: в сфере образования преподаватели могут использовать этот инструмент для создания наглядных динамических демонстрационных материалов.

Использование Boximator:

Метод от ByteDance: сначала выделите объект на изображении, затем выделите позицию, в которую его нужно переместить, — и будет сгенерировано видео, на котором объект перемещается из начальной точки в конечную. Поддерживается настройка маршрута движения и одновременное выделение нескольких объектов. Совместим с видеомоделями SD и может использоваться в качестве плагина.

Описание Boximator:

Мы представляем Boximator — новый метод точного управления движением. Boximator использует два механизма ограничения: жёсткое ограничение (hard box) и мягкое ограничение (soft box).

Пользователи могут с помощью жёсткого ограничения выбрать конкретный объект на определённом кадре видео (называемом условным кадром), а затем с помощью этих двух типов ограничений приблизительно или строго задать положение, форму или траекторию движения этого объекта в последующих кадрах. Boximator может выступать в качестве дополнительного модуля к существующим моделям синтеза видео. В процессе обучения, чтобы сохранить знания исходной модели, мы решили заморозить оригинальные веса и обучать только модуль управления.

Для решения задач, возникающих в процессе обучения, мы внедрили инновационную технику самоотслеживания, которая значительно упрощает процесс связывания выделенных рамкой объектов с их ассоциациями.

Эксперименты показали, что Boximator достигает передового уровня качества видео (по показателю FVD — стандарту оценки качества видео), демонстрируя улучшение относительно двух базовых моделей и дополнительное повышение качества при добавлении ограничений в виде рамок. Его высокие возможности управления движением подтверждены значительным улучшением показателей выравнивания ограничивающих рамок.

Оценки также показывают, что пользователи отдают предпочтение видеороликам, сгенерированным Boximator, по сравнению с результатами базовых моделей.