PortraitGen: мультимодальный инструмент для редактирования портретных видео 222

PortraitGen — это инновационный инструмент для редактирования портретных видео на основе ИИ, разработанный Китайским университетом науки и технологий. Он позволяет повышать качество 2D-портретных видео до эффекта 4D. Поддерживает мультимодальное редактирование и способен изменять одежду, выражение лица и условия освещения персонажей видео всего за 30 минут. PortraitGen также оснащён модулем редактирования с распознаванием лица, что повышает плавность редактирования выражений. Пользователи могут легко добиться эффекта изменения персонажа с помощью текстовых команд, просто предоставив видео и референсное изображение.

Основные особенности PortraitGen:

• Быстрое редактирование: PortraitGen способен выполнить редактирование видео всего за 30 минут, а отредактированный 3D-портрет поддерживает плавное воспроизведение со скоростью 100 кадров в секунду.

• Мультимодальный ввод: пользователи могут выполнять редактирование с помощью текста, изображений или 3D-моделей, поддерживаются различные способы редактирования, включая стилизацию на основе текста и изображений.

• Модуль редактирования с распознаванием лица: этот модуль предназначен для повышения качества выражений лица и сохранения индивидуальных черт, что делает результат редактирования более естественным и детализированным.

• Настройка освещения: пользователи могут регулировать освещение кадров видео в соответствии с предоставленным описанием, что делает всё видео более гармоничным и красивым.

• Технические преимущества: PortraitGen использует технологию нейронных гауссовских текстур, которая, в отличие от традиционного метода сферических гармонических коэффициентов, позволяет хранить обучаемые признаки для каждой гауссовской точки, обеспечивая более широкие возможности редактирования.

• Высокая частота кадров: отредактированное видео поддерживает плавное воспроизведение со скоростью 100 кадров в секунду.
  

• Эффект смены одежды: реализуется с помощью переноса стиля и виртуальной примерки.
  

Технические детали PortraitGen:

• Коэффициенты SMPL-X: используются для отслеживания в монокулярном видео.

• Нейронные гауссовские текстуры: построение 3D-поля признаков на основе гауссовских функций.

• Редактирование с распознаванием лица: повышение качества выражений лица и сохранение индивидуальной структуры лица.

• Перенос стиля: используется для редактирования на основе изображений.

• InstructPix2Pix: используется для редактирования на основе текста.

Сценарии использования PortraitGen:

• Кинопроизводство: быстрое создание высококачественных портретных видео.

• Рекламная индустрия: гибкое изменение стиля видео.

• Социальные сети: создание персонализированного видеоконтента.

• Образование и обучение: создание учебных видео.

• Виртуальная примерка: применение в индустрии моды.

PortraitGen — это передовой инструмент для редактирования портретных видео на основе ИИ, разработанный исследовательской группой Китайского университета науки и технологий. Он был опубликован на Arxiv 23 сентября 2024 года. PortraitGen позволяет изменять внешность персонажей видео с помощью текстовых команд или референсных изображений, реализуя мультимодальные функции редактирования, включая, помимо прочего, смену одежды, настройку освещения и изменение черт персонажа.

Способы получения PortraitGen:

Адрес проекта: https://ustc3dv.github.io/PortraitGen

Адрес на Github: https://github.com/USTC3DV/PortraitGen-code

Адрес статьи: https://arxiv.org/abs/2409.13591