PartCrafter: 3D-модель генерации нескольких частей и объектов из одного изображения 64

Что такое PartCrafter?

PartCrafter — это новый 3D-генератор, разработанный совместно Пекинским университетом, ByteDance и Университетом Карнеги — Меллон. Он способен напрямую генерировать несколько 3D-мешей с чёткой структурой и формой из обычного RGB-изображения.

Ключевые возможности

• Многоэлементная генерация: PartCrafter может за один раз создать несколько независимых 3D-деталей из одного изображения без предварительной сегментации.

• Работа на уровне отдельных деталей: сгенерированные 3D-модели позволяют редактировать каждую деталь по отдельности — изменять положение, угол поворота или масштаб.

• Генерация в один шаг: пользователю достаточно предоставить одно изображение, и PartCrafter сразу создаст сложную 3D-сцену.

• Высокая скорость генерации: благодаря предобученному 3D Mesh Diffusion Transformer (DiT) PartCrafter работает быстрее.

Технические принципы

• Композиционное латентное пространство: каждая 3D-деталь представлена набором независимых латентных токенов. Это позволяет деталям развиваться независимо друг от друга в процессе генерации, сохраняя при этом детализацию на уровне отдельных элементов.

• Иерархический механизм внимания: этот механизм обеспечивает упорядоченный обмен информацией как внутри одной детали, так и между разными деталями, гарантируя общую согласованность результата.

• Основан на предобученном 3D Mesh Diffusion Transformer (DiT): модель наследует предобученные веса, кодировщик и декодировщик, что дополнительно повышает её генеративные способности.

• Сквозная генерация с учётом отдельных деталей: при наличии всего одного изображения можно одновременно выполнять денойзинг нескольких 3D-деталей, обеспечивая прямую генерацию как единичных объектов, так и сложных многообъектных сцен.

Данные и обучение

• Набор данных: из крупномасштабных 3D-наборов данных были извлечены аннотации на уровне деталей, в результате чего был создан датасет, содержащий около 50 000 размеченных объектов и 300 000 отдельных деталей.

• Метод обучения: применяется стратегия curriculum learning (обучение по усложняющейся программе), которая позволяет постепенно улучшать производительность модели.

Сценарии применения

• Разработка игр: позволяет быстро создавать высококачественные 3D-ассеты для игр — персонажей, предметов и окружения. Разработчику достаточно дать одно изображение или краткое описание, чтобы в кратчайшие сроки получить множество 3D-моделей, что значительно ускоряет процесс разработки игры.

• Архитектура и дизайн интерьеров: позволяет быстро создавать архитектурные модели и варианты оформления интерьера. Дизайнер загружает архитектурный чертёж или эскиз и сразу получает 3D-модель, удобную для презентации проекта и наглядной демонстрации замысла заказчику.

• Кинопроизводство: возможности моделирования с ультравысокой детализацией геометрии, а также генерации PBR-моделей на основе нескольких ракурсов позволяют предоставить командам кинопроизводства высококачественные 3D-материалы.

Производительность

• Высокая эффективность: генерация структурированной 3D-модели из одного изображения занимает около 40 секунд.

• Высокая точность: точность генерации деталей и согласованность сцены улучшены по сравнению с существующими методами на 32 % и 28 % соответственно.

Ссылки проекта

Страница проекта:https://wgsxm.github.io/projects/partcrafter/

Репозиторий на GitHub:https://github.com/wgsxm/PartCrafter

Ссылка на статью:https://arxiv.org/abs/2506.05573