Vid2Avatar-Pro: создание реалистичных 3D-аватаров человека из монокулярного видео 185

Что такое Vid2Avatar-Pro?

Vid2Avatar-Pro — это технология, позволяющая создавать реалистичные и анимируемые 3D-аватары людей из обычного монокулярного видео. Это усовершенствованная версия Vid2Avatar, в которой за счёт внедрения универсальной модели-приора (Universal Prior Model, UPM) и оптимизированного 3D-представления повышена реалистичность аватаров и их способность к обобщению.

Функциональные особенности Vid2Avatar-Pro

• Высокая реалистичность и анимируемость: Vid2Avatar-Pro способен генерировать реалистичные 3D-аватары из обычного монокулярного видео и поддерживает сложную анимацию движений.

• Многоракурсный рендеринг: созданный аватар можно отрендерить с любого ракурса, что решает проблему ограниченных ракурсов в традиционных методах.

• Поддержка разнообразных движений: аватар способен выполнять множество сложных действий, таких как игра в бадминтон, барабан, прыжки на одной ноге и т. д.

• Универсальная модель-приор (UPM): предобученная на крупномасштабных многоракурсных данных универсальная модель-приор значительно повышает способность к обобщению на новые позы и ракурсы.

Сценарии применения Vid2Avatar-Pro

• Кинопроизводство: реконструкция 3D-моделей актёров из обычного видео для создания спецэффектов.

• Виртуальная реальность (VR) и дополненная реальность (AR): создание реалистичных виртуальных персонажей для усиления эффекта погружения.

• Мода и электронная коммерция: реконструкция 3D-модели пользователя из видео для виртуальной примерки одежды.

• Спортивный анализ: реконструкция моделей спортсменов из записей соревнований для детального разбора движений.

• Медицинская реабилитация: запись и анализ движений пациентов в процессе восстановления.

Технические принципы Vid2Avatar-Pro

Универсальная модель-приор (UPM)

• Этап предобучения: UPM обучается на крупномасштабных многоракурсных динамических данных о людях в одежде, что позволяет ей улавливать универсальные признаки внешности и поз человека.

• Этап тонкой настройки: на заданном монокулярном «диком» видео предобученная UPM донастраивается с помощью методов обратного рендеринга для восстановления деталей конкретного человека.

3D-представление с помощью гауссиан

• Для построения аватара используется представление 3D-гауссианами с каноническими фронтальной и задней картами, которые являются общими для разных идентичностей.

• Синтез параметров позы/формы обучения осуществляется с помощью прямого линейного блендинга скиннинга (LBS) и растеризации.

Самоконтролируемое разложение сцены

• Разделение человека и фона непосредственно в 3D без зависимости от внешних модулей сегментации.

• Параметризация человека и фона с помощью двух независимых нейронных полей решает задачи разложения сцены и реконструкции поверхности.

Стратегия оптимизации

• Введены стратегия выборки от грубого к точному и новая функция потерь, что обеспечивает чёткое разделение динамического человека и статического фона.

• Оптимизируются модель фона, канонизированные форма и текстура человека, а также параметры позы для каждого кадра.

Как использовать Vid2Avatar-Pro

1. Подготовка данных:

• Используйте ROMP для получения начальных параметров формы и позы SMPL.

• Используйте OpenPose для извлеления ключевых точек.

2. Обучение модели:

• Совместная оптимизация модели фона, формы и текстуры человека, а также параметров позы.

• Тонкая настройка с использованием предобученной модели UPM.

3. Генерация и рендеринг:

• С помощью обученной модели создаётся итоговый 3D-аватар.

• Многоракурсный рендеринг реализуется посредством технологии обратного рендеринга.

4. Генерация анимации:

• Привязка аватара к новым последовательностям движений для создания разнообразной анимации.

Ссылка на статью:https://moygcc.github.io/vid2avatar-pro/static/CVPR2025_Vid2Avatar_Pro.pdf

Страница проекта:https://moygcc.github.io/vid2avatar-pro/