Hi3DGen: фреймворк для генерации высокоточной 3D-геометрии из 2D-изображений 129

Что такое Hi3DGen?

Hi3DGen — это фреймворк для генерации высокоточных 3D-геометрических моделей из 2D-изображений. Он использует карты нормалей в качестве промежуточного представления, сочетая оценщик изображения-в-нормали и метод обучения нормали-в-геометрию, что повышает точность генерации. Кроме того, для поддержки обучения был создан высококачественный синтетический набор данных DetailVerse. Эксперименты показывают, что Hi3DGen отлично справляется с генерацией богатых геометрических деталей и подходит для таких сценариев, как виртуальная реальность и разработка игр.

Функциональные особенности Hi3DGen

• Высокоточная 3D-генерация: используя карты нормалей в качестве промежуточного представления и сочетая передовые оценщики и методы обучения, способен генерировать из 2D-изображений высокоточные и детализированные 3D-геометрические модели.

• Мощная способность к обобщению: применяется стратегия двухпоточного обучения, разделяющая низкочастотные и высокочастотные моды изображения, что позволяет модели стабильно выдавать качественные результаты при различных входных условиях.

• Эффективный геометрический контроль: метод латентной диффузии с регуляризацией по нормалям обеспечивает явный сигнал контроля для генерации 3D-геометрии, что значительно повышает точность генерации.

• Поддержка качественными данными: предусмотрен синтетический набор данных DetailVerse, содержащий сложные геометрические структуры и богатые детали, что обеспечивает достаточную поддержку данными для обучения модели.

Состав фреймворка Hi3DGen

• Оценщик изображения-в-нормали (NiRNE): посредством добавления шума и двухпоточного обучения разделяет низкочастотные и высокочастотные моды изображения, обеспечивая стабильную и чёткую оценку нормалей с высокой обобщающей способностью.

• Метод обучения нормали-в-геометрию (NoRLD): использует метод латентной диффузии с регуляризацией по нормалям, предоставляя явный 3D-геометрический контроль в процессе обучения, что значительно повышает точность генерации.

• Конвейер синтеза 3D-данных: создан высококачественный синтетический 3D-набор данных под названием DetailVerse для поддержки обучения фреймворка.

Технические преимущества Hi3DGen

• Использование карт нормалей в качестве промежуточного представления: карты нормалей кодируют информацию об ориентации поверхности, что эффективно сокращает разрыв между доменами синтетических обучающих данных и реальных приложений, а также предоставляет более чёткие геометрические подсказки для геометрического обучения.

• Стратегия двухпоточного обучения: разделяя обучение низкочастотным и высокочастотным модам изображения, NiRNE способен генерировать более чёткие карты нормалей при сохранении стабильности.

• Высококачественный синтетический набор данных: набор данных DetailVerse содержит сложные геометрические структуры и богатые детали поверхности, что помогает обучать более точные модели.

Сценарии применения Hi3DGen

• Виртуальная реальность (VR) и дополненная реальность (AR): быстрая генерация реалистичных 3D-сцен и моделей объектов из 2D-изображений.

• Разработка игр: используется для быстрой генерации 3D-моделей в играх из концепт-артов или существующих 2D-ассетов.

• Архитектурное проектирование и визуализация: генерация 3D-моделей зданий из архитектурных чертежей или фотографий, помогающая дизайнерам быстро создавать проектные визуализации.

• Создание спецэффектов и анимации для кино: быстрая генерация сложных 3D-сцен и моделей реквизита, экономящая время на моделирование.

• Сохранение культурного наследия: генерация высокоточных 3D-моделей из фотографий культурных артефактов для цифровой сохранности и демонстрации.

Как пользоваться Hi3DGen?

1. Перейдите на онлайн-демонстрацию Hi3DGen: https://huggingface.co/spaces/Stable-X/Hi3DGen

2. Загрузите одно или несколько изображений

3. Нажмите кнопку «Generate Shape» и дождитесь генерации

4. Используйте функцию «Export Mesh» для экспорта 3D-материалов в различных форматах

Домашняя страница проекта: https://stable-x.github.io/Hi3DGen/

Онлайн-демонстрация: https://huggingface.co/spaces/Stable-X/Hi3DGen

Репозиторий на GitHub: https://github.com/Stable-X/Hi3DGen

Статья: https://stable-x.github.io/Hi3DGen/hi3dgen_paper.pdf