MAGREF: инструмент генерации видео с несколькими субъектами от ByteDance 65

MAGREF — это инструмент для генерации видео с несколькими субъектами, представленный ByteDance. Он позволяет пользователям генерировать видео с высокой степенью согласованности на основе всего одного референсного изображения, справляясь как с одиночными субъектами, так и со сценами с несколькими объектами. Благодаря механизмам масочного управления и конкатенации каналов инструмент решает распространённые проблемы традиционной генерации видео — путаницу идентичности субъектов и рассогласованность движений. MAGREF также поддерживает множественные комбинации людей, объектов и фонов, обеспечивая стабильность идентичности и структурную согласованность генерируемого видео.

Ключевые функции

• Генерация с согласованностью нескольких субъектов: достаточно одного референсного изображения, чтобы создать видео с высокой степенью согласованности людей или объектов, включая сцены с несколькими людьми в одном кадре без «смешения лиц». Например, можно сгенерировать видео, где Эйнштейн едет на мотоцикле, или где Ньютон пишет картину. Черты лица и одежда персонажей остаются неизменными в каждом кадре и не искажаются со временем.

• Обработка разнообразных референсных изображений: благодаря механизмам масочного управления и конкатенации каналов инструмент обрабатывает различные референсные изображения без увеличения сложности модели. Будь то выступление одного человека, взаимодействие нескольких людей или совместное появление людей, объектов и фона — результатом остаётся стабильное и согласованное видео.

• Мультимодальный ввод и генерация: в зависимости от текстовой подсказки инструмент реализует принцип «один образ — тысяча воплощений». Неважно, кто изображён на входе, из какой он эпохи и насколько абстрактен его стиль — система точно воспроизводит его черты и в соответствии с текстовой инструкцией формирует различные действия, окружение и эффекты освещения. Например, можно передать портрет человека, изображение объекта и изображение фона, добавить текстовое описание — и инструмент сгенерирует полноценное видео, включающее все три типа элементов, где взаимодействие персонажей и объектов выглядит естественно, а сцена не вызывает ощущения диссонанса.

Техническая реализация

• Конвейер обработки данных: используется трёхэтапный процесс обработки данных для формирования высококачественных, структурно чётких обучающих видеосэмплов. На первом этапе из исходного видео выделяются семантически согласованные фрагменты, отфильтровываются низкокачественные образцы и для каждого фрагмента создаётся структурированный текст. На втором этапе с помощью извлечения меток и семантической сегментации распознаются ключевые объекты в видео, после чего выполняется постобработка для получения точных масок. На третьем этапе обнаруживаются и распределяются идентификации людей в видео, отбираются высококачественные изображения лиц для формирования референсных изображений, что обеспечивает согласованность идентичности в процессе обучения.

Ключевые механизмы

• Регионально-осведомлённая динамическая маска: основанная на механизме внимания глубокого обучения, она наделяет модель способностью «динамического визуального восприятия». Алгоритмы семантической сегментации точно определяют ключевые области видео и в реальном времени корректируют веса масок разных субъектов в соответствии с входной подсказкой. Таким образом, независимо от количества и порядка референсных изображений, система поддерживает структурную согласованность, не путает идентичности и сохраняет чёткие взаимосвязи.

• Пиксельно-точная конкатенация каналов: на базовом уровне технологии генерации изображений выполняется объединение информации по измерению каналов (RGB-каналы + каналы признаков). Сверточная нейронная сеть извлекает признаки внешности из референсного изображения и объединяет их на уровне каналов с картой признаков генерируемой сцены, обеспечивая высокую степень соответствия цвета кожи, причёски и других деталей референсному изображению. Одновременно операции нормализации балансируют параметры освещённости для разных сцен, предотвращая ощущение разрыва между субъектом и фоном из-за различий яркости. Также поддерживается одновременный ввод портрета человека, изображения объекта и фотографии окружения — на основе поканального слияния генерируются логически согласованные кросс-модальные сцены.

Сценарии применения

• Кинопроизводство: инструмент способен перестроить процессы предпродакшена и создания спецэффектов. Например, на этапе сценария можно генерировать динамичные раскадровки, позволяя режиссёру в реальном времени корректировать цветовую палитру сцен и действия персонажей. Он также способен заменить часть съёмок на зелёном экране: так, в историческом фильме, загрузив референсные изображения нескольких солдат, можно массово сгенерировать видеоролики с массовыми маршами, соответствующими древним одеждам и боевым построениям.

• Разработка игр: инструмент ускоряет итерацию игрового контента и повышает уровень погружения. На основе модели персонажа можно быстро генерировать видеоролики с различными выражениями лица и действиями в разных сюжетных точках; также возможно автоматическое создание повседневных действий NPC в городах без необходимости покадровой ручной настройки анимации.

• Реклама и маркетинг: инструмент выступает в роли «двигателя массового производства» персонализированного контента, позволяя генерировать сотни видеороликов с использованием одного и того же товара в разных сценариях, что отвечает потребностям фрагментированного распространения в социальных сетях. Также возможна генерация многочисленных рекламных материалов на основе портретов знаменитостей, что избавляет от ограничений по графику съёмок и проблем с авторскими правами.

Ссылки проекта

• Страница проекта:https://magref-video.github.io/magref.github.io/

• Github:https://github.com/MAGREF-Video/MAGREF

• Статья:https://arxiv.org/pdf/2505.23742