Phantom: система генерации видео с сохранением идентичности объекта на основе кросс-модального выравнивания 130

Phantom — это инновационный инструмент для генерации видео, разработанный ByteDance, который создаёт видео на основе референсного изображения лица. В этом процессе он способен точно сохранять идентифицирующие черты референсного лица, такие как контуры лица, пропорции черт, выражение и мимику, при этом создавая максимально реалистичный видеоконтент.

Особая особенность Phantom заключается в его строгой способности сохранять индивидуальные черты при генерации видео. Например, когда пользователь предоставляет свою фотографию, в сгенерированном Phantom видео изображение персонажа не подвергается деформации, искажениям или конфликтам с другими элементами. Эта характеристика открывает пользователям новый путь для создания персонализированного видео.

Функциональные возможности Phantom:

Генерация видео с сохранением идентичности

• Создание видео на основе референсного изображения лица со строгим сохранением идентифицирующих черт субъекта (таких как лицо, поза и т.д.).

• Поддержка динамической генерации видеоконтента, соответствующего субъекту (например, действия, изменения сцены), на основе подсказок.

Генерация видео с одним референсным субъектом

• Объекты: точное воспроизведение формы и положения предметов на референсном изображении.

• Одежда/виртуальные персонажи: сохранение текстуры и цвета одежды, а также динамической согласованности виртуальных персонажей.

• Животные: моделирование поведения и логики взаимодействия животных.

Генерация видео с несколькими референсными субъектами

• Групповые сцены: динамическая генерация совместных действий и диалогов нескольких людей.

• Демонстрация товаров: вращение и примерка товаров в различных сценах.

• Виртуальная примерка: после загрузки изображения пользователем генерируется видео с эффектом виртуальной смены одежды или примерки аксессуаров.

Технические преимущества Phantom:

• Высокая согласованность: идентифицирующие черты субъекта и детали элементов стабильно сохраняются в видео.

• Гибкий ввод: поддержка одного или нескольких референсных изображений, что снижает порог входа для пользователей.

• Кросс-модальное выравнивание: обеспечение точного соответствия между изображениями и текстовыми описаниями, что повышает качество генерации.

Сценарии применения Phantom:

Сфера создания контента

• Генерация коротких видео: быстрое создание персонализированных коротких видео (например, виртуальные ведущие, короткометражные драматические ролики).

• Реклама и маркетинг: создание динамических демонстрационных видео для продуктов, адаптированных для электронной коммерции и продвижения в социальных сетях.

Применение в вертикальных отраслях

• Образование/обучение: создание обучающих видео с виртуальными персонажами для повышения интерактивности.

• Кино и развлечения: помощь в создании недорогих анимационных эффектов или виртуальных сцен.

• Медицина/научные исследования: моделирование хирургических процессов, наглядная демонстрация научных экспериментов.

Пользовательские персонализированные потребности

• Виртуальная примерка: пользователи загружают свои селфи для генерации видео с примеркой одежды и аксессуаров.

• Цифровой двойник: создание виртуального образа на основе личной фотографии и взаимодействие с ним в динамике.

Технологический прорыв Phantom основан на анализе взаимосвязей между различными типами данных (например, между изображениями и описаниями сцен), что позволило нам разработать технологию генерации изображений нового поколения, придающую создаваемым кадрам максимально реалистичную текстуру. Даже при наличии всего одной статичной фотографии эта технология позволяет виртуальному образу естественно двигаться — будь то моделирование действий человека в различных сценах, организация взаимодействия между несколькими виртуальными персонажами (например, совместный диалог нескольких людей в одном кадре, демонстрация комбинаций товаров), или реализация эффекта «пользователь загружает фото и может примерить одежду» — всё это становится таким же интуитивным, как магия.

Эта технологическая особенность особенно подходит для сценариев, требующих динамической демонстрации: показ текстуры ткани одежды в реальном времени в прямых трансляциях, «оживление» исторических персонажей для объяснения знаний в обучающих видео или автоматическая демонстрация использования продукта в рекламных роликах — все эти ранее требовавшие сложного производства этапы теперь могут быть эффективно реализованы более простым способом.

GitHub:https://github.com/Phantom-video/Phantom

Документ: https://arxiv.org/abs/2502.11079