Помощник сценариста▸ 
AI Приложения 
AI Новости MultiGO: прорыв в создании высокоточных 3D-моделей человека по одному изображению
小编 ·
MultiGO: прорыв в создании высокоточных 3D-моделей человека по одному изображению
Что такое MultiGO?
Решение MultiGO от команды HKUST(GZ) использует иерархическое моделирование для генерации высокоточных 3D-моделей человеческого тела по одному изображению, разделяя моделирование от базовой формы тела до детальных текстур по уровням и решая проблему недостаточной детализации традиционной 3D-реконструкции. Эта работа была принята на CVPR 2025 и может применяться в виртуальных примерочных, создании игровых персонажей и спецэффектах в кино. Благодаря трёхуровневому геометрическому обучению повышается устойчивость к ошибкам глубины, а поверхностные детали восстанавливаются до субмиллиметрового уровня, что имеет высокую практическую ценность.
Технология MultiGO
Трёхуровневая структура геометрического обучения
Модуль усиления скелета: проецирует 3D-признаки Фурье в 2D-пространство и использует сетку человеческого тела SMPL-X в качестве геометрического априорного знания, усиливая моделирование скелета тела. Позиционное кодирование в пространстве Фурье улучшает семантическое согласование между 3D-моделью и 2D-изображением, позволяя модели более точно захватывать характеристики позы тела.
Стратегия усиления суставов: в процессе обучения к положениям ключевых точек суставов добавляются возмущения, что повышает устойчивость модели к ошибкам оценки глубины. Эта стратегия фокусируется на корректировке параметров, влияющих на восприятие глубины, избегая неточностей в восстановлении положения конечностей, вызванных неоднозначностью глубины.
Модуль оптимизации морщин: использует подход, аналогичный удалению шума в диффузионных моделях, рассматривая поверхностные морщины как оптимизируемые паттерны шума и постепенно восстанавливая более тонкие высокочастотные детали. Этот инновационный метод позволяет MultiGO генерировать субмиллиметровые детали поверхности, эффективно устраняя недостатки традиционных методов в передаче высокочастотных деталей, таких как складки одежды.
Высокоточное восстановление деталей
Благодаря стратегии трёхуровневого иерархического моделирования MultiGO обеспечивает многомасштабную детализированную реконструкцию — от макроскопической позы до микроскопических деталей. Результаты экспериментов показывают, что MultiGO достигает лучших в отрасли показателей на тестовых наборах CustomHuman и THuman3.0.
Принцип работы
Модуль SLE проецирует 3D-признаки Фурье в 2D-пространство входного изображения, позволяя модели гауссовой реконструкции использовать априорные знания о форме тела для точного захвата позы человека; стратегия JLA применяет контролируемые возмущения во время обучения, повышая устойчивость модели к ошибкам глубины при инференсе и улучшая оценку глубины суставов тела; модуль WLR рассматривает грубую сетку как гауссов шум и уточняет складки, используя в качестве условия реконструкцию высококачественной текстуры гауссиан, оптимизируя геометрические детали.
Преимущества MultiGO
Высокоточная 3D-реконструкция тела: возможность генерации высокоточных 3D-моделей человеческого тела по монокулярному изображению с тонкой детализацией складок одежды, текстуры кожи и других деталей.
Быстрая генерация и настройка: поддержка быстрой генерации персонализированных 3D-виртуальных аватаров и гибкой настройки деталей, что значительно снижает затраты на производство художественных ресурсов.
Адаптация к различным сценариям: подходит для приложений, требующих быстрой генерации с высокими требованиями к реалистичности и многомасштабной детализации.
Сценарии применения MultiGO
Виртуальные примерочные и модные онлайн-магазины: потребителю достаточно загрузить одну фотографию в полный рост, чтобы сгенерировать высокоточную 3D-модель тела, а система автоматически смоделирует эффект примерки различной одежды.
Игры и метавселенная: быстрое создание персонализированных 3D-виртуальных аватаров по одной фотографии, а иерархическая структура обеспечивает гибкую настройку.
Спецэффекты в кино и виртуальное производство: в спецэффектах достаточно одной фотографии актёра для реконструкции высокоточной 3D-модели, используемой для захвата движения или замены актёра, а иерархическая структура позволяет редактировать отдельные уровни на этапе постпродакшна.
Ссылка на проект
https://multigohuman.github.io/
