HSMR: новый метод реконструкции 3D-скелета и mesh-модели человека по одному изображению 146

小编 · 2025-04-01

HSMR — метод компьютерного зрения и глубокого обучения, который восстанавливает структуру скелета и 3D-mesh-модель человека по монокулярным или многоракурсным изображениям. Технология имеет широкое применение в виртуальной и дополненной реальности, разработке игр и анализе движений.

HSMR: новый метод реконструкции 3D-скелета и mesh-модели человека по одному изображению

Что такое HSMR?

HSMR — это технология компьютерного зрения и глубокого обучения, которая позволяет восстанавливать скелетную структуру и трёхмерную сетку тела человека по монокулярным или мультиракурсным изображениям. Эта технология находит широкое применение в виртуальной реальности, дополненной реальности, разработке игр и спортивном анализе.

HSMR 是什么？.webp

Метод

Архитектура модели: HSMR использует архитектуру на основе Transformer, где входными данными является одно изображение человека, а выходными — параметры позы q и параметры формы β модели SKEL.
Генерация данных и обучение:
Из-за нехватки обучающих данных авторы разработали конвейер генерации псевдореалистичных данных и постепенно улучшали эти псевдометки с помощью итерационной оптимизации.
В процессе обучения результаты оценки HSMR оптимизируются для согласования с реальными двумерными ключевыми точками (SKELify), а оптимизированные параметры используются в качестве контрольных значений для последующего обучения.
Биомеханическая точность: Модель SKEL обладает биомеханически обоснованными степенями свободы, что позволяет более реалистично оценивать вращение суставов и избегать проблемы нарушения ограничений углов суставов, характерной для традиционных методов.

HSMR：从单张图像重建人体3D骨架和网格模型的新方法.webp

Функциональные особенности

Сквозная реконструкция по одному изображению: HSMR способен напрямую восстанавливать параметры скелета тела человека из одного изображения, являясь первым методом, реализующим такую возможность.
Биомеханическая точность: используется параметризованная модель тела SKEL, основанная на биомеханически точной конструкции скелета, что обеспечивает более соответствующие физиологии человека оценки вращения суставов и позволяет избежать неестественных вращений и биомеханических неточностей, характерных для традиционных методов.
Генерация псевдореалистичных данных и обучение с итеративной оптимизацией: для решения проблемы нехватки обучающих данных HSMR создаёт конвейер генерации псевдореалистичных данных и постепенно улучшает эти псевдометки посредством итеративной оптимизации, повышая точность обучения модели.
Архитектура на основе Transformer: используется архитектура на основе Transformer для обработки входного изображения и оценки параметров позы и формы модели SKEL, что позволяет лучше улавливать сложные признаки и информацию о позе человека на изображении.

Сценарии применения

Виртуальная и дополненная реальность: обеспечение более реалистичного интерактивного опыта для игр, обучения и имитационного моделирования.
Спортивный анализ и биомеханика: анализ движений спортсменов, оптимизация методов тренировок и конструкции оборудования.
Медицинская диагностика и реабилитация: помощь врачам в оценке позы и диагностике заболеваний, а также помощь пациентам в реабилитационных тренировках.

Результаты экспериментов

Сравнение производительности: HSMR демонстрирует конкурентоспособные результаты по сравнению с самыми передовыми методами на стандартных тестах и значительно превосходит другие методы в условиях экстремальных трёхмерных поз и ракурсов.
Визуализация результатов: визуализация с ракурса камеры и бокового ракурса демонстрирует качество реконструкции HSMR, подтверждая его устойчивость при различных ракурсах.