LHM: технология от Alibaba для реконструкции анимируемой 3D-модели человека по одному изображению 190

Что такое LHM?

LHM — это технология, разработанная лабораторией Tongyi компании Alibaba для реконструкции анимируемых 3D моделей человеческого тела по одному изображению. Она решает проблему разделения геометрии, внешнего вида и деформации при реконструкции 3D-модели человека из одного изображения. Проще говоря, достаточно предоставить одну фотографию, и за несколько секунд будет создана 3D-модель человека, которая может выполнять различные движения, с отличной детализацией одежды, волос, лица и т.д., выглядящая очень реалистично.

Технические преимущества LHM

Мультимодальная архитектура Transformer:

• Используется мультимодальная архитектура Transformer для эффективного кодирования признаков положения тела и признаков изображения.

• Механизм внимания сохраняет детали, особенно геометрию и текстуру одежды.

Схема кодирования признаков головы с помощью пирамиды признаков:

• Предложена схема кодирования признаков головы с помощью пирамиды признаков, агрегирующая многомасштабные признаки области головы.

• Повышается сохранение лицевой идентичности и восстановление деталей.

3D Gaussian Splatting (гауссово сплаттирование):

• 3D-тело человека представляется в виде гауссовых сплатов, что обеспечивает рендеринг в реальном времени, реалистичное отображение и анимацию с управлением позой.

Процесс работы метода LHM

• Входное изображение: из входного изображения извлекаются токены изображения тела и головы.

• Слияние с помощью мультимодального Transformer: предлагаемый Multimodal Body-Head Transformer (MBHT) объединяет токены 3D-геометрии тела с токенами изображения.

• Декодирование в параметры гауссиан: после процесса слияния на основе внимания геометрические токены тела декодируются в параметры гауссиан.

Результаты экспериментов LHM

• Быстрая реконструкция: LHM способна реконструировать анимируемую 3D-модель человека из одного изображения за несколько секунд без какой-либо постобработки.

• Высокая точность и способность к обобщению: эксперименты на синтетических и реальных наборах данных показывают, что LHM достигает передового уровня в точности реконструкции, способности к обобщению и согласованности анимации.

• Детали лица и рук: LHM способна генерировать реалистичные детали лица и рук, превосходя существующие методы.

Особенности LHM

• Быстрая реконструкция: LHM способна реконструировать анимируемую 3D-модель человека из одного изображения за несколько секунд без какой-либо постобработки.

• Высокая точность и способность к обобщению: эксперименты на синтетических и реальных наборах данных показывают, что LHM достигает передового уровня в точности реконструкции, способности к обобщению и согласованности анимации.

• Рендеринг в реальном времени и управление анимацией: реконструированная модель поддерживает рендеринг в реальном времени и анимацию с управлением позой, что подходит для приложений иммерсивной AR/VR.

Сценарии применения LHM

• Метавселенная: предоставление пользователям персонализированных 3D-аватаров для усиления эффекта погружения в виртуальный мир.

• Кинопроизводство: быстрое создание высококачественных 3D-моделей персонажей, повышающее эффективность производства.

• Разработка игр: создание реалистичных 3D-персонажей игр, улучшающее визуальные эффекты.

Полезные ссылки

Репозиторий кода на GitHub:https://github.com/aigc3d/LHM

Домашняя страница проекта:https://lingtengqiu.github.io/LHM/

Статья:https://arxiv.org/abs/2503.10625