HRAvatar: метод генерации качественных 3D-аватаров из монокулярного видео 77

小编 · 2025-05-23

На фоне быстрого развития цифровых людей, виртуальных стримеров и AR/VR эффективная генерация реалистичных, анимируемых и поддерживающих переосвещение 3D-аватаров стала ключевой задачей. Однако создание высокореалистичных анимируемых аватаров из монокулярного видео по-прежнему сопряжено со многими трудностями, а существующие методы на основе 3D-гауссианского сплаттинга (3DGS) имеют ограничения в качестве реконструкции, такие как недостаточная гибкость геометрической деформации, неточное отслеживание выражений лица и невозможность реалистичного переосвещения.

HRAvatar: метод генерации качественных 3D-аватаров из монокулярного видео

В условиях стремительного развития цифровых людей, виртуальных ведущих, AR/VR и других областей эффективное создание реалистичных, анимируемых 3D-аватаров с поддержкой переосвещения становится ключевой задачей. Однако генерация высокореалистичных анимируемых аватаров из монокулярного видео по-прежнему сопряжена с множеством трудностей. Существующие методы на основе 3D Gaussian Splatting (3DGS) имеют ряд ограничений в качестве реконструкции, таких как недостаточная гибкость геометрических деформаций, неточное отслеживание выражений лица и невозможность реалистичного переосвещения.

Команда Университета Цинхуа совместно с командой IDEA разработала HRAvatar — новую технологию, использующую монокулярное видео для создания высококачественных 3D-аватаров с поддержкой переосвещения. Технология опирается на обучаемые базисы деформации и линейный скиннинг, обеспечивая персонализированную геометрическую деформацию, а также оснащена точным кодировщиком выражений лица, что снижает ошибки отслеживания и повышает качество реконструкции. HRAvatar демонстрирует выдающиеся результаты в производительности в реальном времени и детализации рендеринга и был принят на конференцию CVPR 2025. Эксперименты показывают, что он превосходит существующие методы по ряду оценочных показателей, обеспечивает производительность в реальном времени около 155 FPS, а также поддерживает переосвещение в новых условиях освещения.

HRAvatar：单目生成高质量3D头像方法.jpg

Ключевые технологии HRAvatar

Обучаемые базисы деформации и технология линейного скиннинга: за счёт адаптивного обучения базисов деформации и весов смешанного скиннинга для каждой точки обеспечивается гибкая деформация гауссовых точек из стандартной позы в различные выражения и позы, что решает проблему трудности точного захвата персонализированных изменений выражений лица с помощью универсальных параметрических моделей.
Точный кодировщик выражений лица: введён сквозной кодировщик выражений лица, оптимизируемый совместно с реконструкцией 3D-аватара и контролируемый с помощью функции потерь гауссовой реконструкции, что снижает ошибки отслеживания и повышает качество реконструкции.
Моделирование внешнего вида и физический шейдинг: внешний вид аватара разлагается на такие свойства материала, как альбедо, шероховатость и отражение Френеля; вводится псевдоаприорное распределение альбедо для лучшего разделения информации о материале; для шейдинга используется упрощённая физическая модель BRDF, а также применяется аппроксимация SplitSum для предварительного вычисления карт окружающего освещения, что обеспечивает высококачественный рендеринг в реальном времени с поддержкой переосвещения.

Технические преимущества HRAvatar

Высокое качество реконструкции: превосходит существующие методы по всем оценочным показателям, особенно по метрике LPIPS; реконструированные аватары обладают более богатой детализацией.
Отличная производительность в реальном времени: скорость рендеринга достигает примерно 155 FPS, что удовлетворяет требованиям реального времени.
Реконструированные с помощью HRAvatar аватары можно не только анимировать, но и переосвещать при новых картах окружающего освещения, а также выполнять простое редактирование материалов, что делает их применимыми в кино, играх, иммерсивных конференциях, AR/VR и других областях.