PrimitiveAnything: новая платформа генерации 3D-фигур от Tencent AIPD и Университета Цинхуа 75

小编 · 2025-05-14

PrimitiveAnything — это новая платформа генерации 3D-фигур, совместно разработанная AI Platform Department (aiPD) компании Tencent и Университетом Цинхуа. Она разбивает сложные 3D-формы на простые части и собирает их заново в готовую фигуру. Получаемые модели отличаются высоким качеством, допускают разные способы создания, удобны в хранении и редактировании. Чёткий параметрический подход и авторегрессионная архитектура обеспечивают стабильное и точное обучение. Платформа поддерживает генерацию 3D по тексту или изображению, гибко добавляет новые типы частей и адаптируется к различным представлениям.

PrimitiveAnything: новая платформа генерации 3D-фигур от Tencent AIPD и Университета Цинхуа

Что такое PrimitiveAnything?

PrimitiveAnything — это новая платформа для генерации 3D фигур, совместно разработанная отделом платформы искусственного интеллекта Tencent (aiPD) и Университетом Цинхуа. Она способна разбирать сложные 3D-фигуры на простые компоненты, а затем снова собирать их в полноценные фигуры. Модели, создаваемые этим инструментом, отличаются высоким качеством, допускают различные способы创作, а также удобны для хранения и редактирования. В ней применяется чёткая параметрическая схема и авторегрессионная архитектура, что обеспечивает стабильность и точность процесса обучения. Платформа поддерживает генерацию 3D-контента по тексту или изображению, а также гибкое добавление новых типов компонентов, адаптируясь к различным способам представления.

PrimitiveAnything: новая платформа для генерации 3D-фигур, совместно разработанная Tencent AIPD и Университетом Цинхуа.webp

Основные возможности PrimitiveAnything

Высококачественная генерация сборок из 3D-примитивов: способна создавать высококачественные сборки из 3D-примитивов, которые геометрически точно соответствуют исходным моделям и согласуются с интуитивным восприятием форм человеком.
Разнообразное создание 3D-контента: поддерживает генерацию 3D-контента по текстовому или графическому условию, предоставляя пользователям гибкие способы创作.
Эффективное хранение и редактирование: благодаря использованию представления через примитивы создаваемые 3D-модели более эффективно хранятся, а также легко редактируются и корректируются.
Авторегрессионная архитектура трансформера: последовательно генерирует 3D-примитивы покадрово с помощью авторегрессионного трансформера, способна обрабатывать последовательности примитивов различной длины и легко расширяется для новых типов примитивов.
Однозначная схема параметризации: устраняя неоднозначность параметризации, обеспечивает стабильность и точность модели в процессе обучения и генерации.
Геометрическая точность и семантическая согласованность: в процессе генерации сохраняется высокая геометрическая точность, что позволяет получать результаты семантического разбиения, соответствующие человеческому восприятию.
Модульная конструкция: модульная конструкция платформы поддерживает бесшовную интеграцию новых типов примитивов без изменения архитектуры и адаптируется к различным представлениям примитивов.

Основные возможности PrimitiveAnything.webp

Технические принципы

Однозначная схема параметризации: используются различные типы базовых элементов (такие как кубоиды, эллиптические цилиндры и эллипсоиды) для совместного представления 3D-фигур в рамках единой схемы параметризации. Для устранения присущей параметризации неоднозначности исследовательская группа разработала комплекс правил, который путём анализа симметрии базовых элементов выбирает набор параметров вращения с минимальной нормой L1 в качестве единственного представления, что обеспечивает стабильность и точность процесса обучения.
Авторегрессионная архитектура трансформера: используется архитектура трансформера на основе декодера, способная генерировать последовательности базовых элементов переменной длины на основе характеристик формы. Сначала извлекается вектор признаков 3D-фигуры с помощью кодировщика облака точек, затем авторегрессионная модель Transformer получает эти признаки формы и информацию о ранее сгенерированных базовых элементах и предсказывает признаки следующего базового элемента. Для моделирования зависимостей между атрибутами базовых элементов используются каскадные декодеры, которые последовательно предсказывают тип, положение, поворот и масштаб базового элемента и другие атрибуты, отражая естественные корреляции между атрибутами базовых элементов и соответствующие логике сборки человеком.
Авторегрессионный процесс генерации: весь процесс абстрагирования базовых элементов переосмыслен как задача генерации последовательности. Модель принимает облако точек в качестве условия входа, затем авторегрессионно генерирует последовательность базовых элементов до тех пор, пока не будет предсказан маркер конца. В процессе обучения используются перекрёстная энтропия, расстояние Шамфера (для точности реконструкции) и Gumbel-Softmax (для дифференцируемой выборки) вплоть до генерации маркера конца последовательности.

Технические принципы PrimitiveAnything.jpg

Показатели производительности

На тестовом наборе, охватывающем 12 категорий, включая мебель, транспортные средства и архитектуру, PrimitiveAnything демонстрирует впечатляющие результаты. Например, по показателю расстояния Шамфера (CD) традиционные методы показывают 0,82, текущее SOTA — 0,45, тогда как PrimitiveAnything достигает 0,21; по показателю воксельного IoU традиционные методы показывают 68 %, текущее SOTA — 75 %, PrimitiveAnything — 89 %; по показателю согласованности сегментации (SC) традиционные методы показывают 0,63, текущее SOTA — 0,71, PrimitiveAnything — 0,92; по степени сжатия хранилища традиционные методы дают 1x, текущее SOTA — 3x, PrimitiveAnything достигает 15x. Ещё более примечательна его способность к кросс-модальной генерации: в задаче генерации 3D по тексту система способна точно понимать такие сложные описания, как «деревянный обеденный стул с изогнутой спинкой», и генерировать семантически соответствующие комбинации базовых элементов.

Сценарии применения PrimitiveAnything

3D-моделирование и дизайн: позволяет быстро создавать «геометрический каркас» сложных 3D-моделей, на основе которого дизайнеры могут сосредоточиться на доработке деталей, что повышает эффективность работы и скорость проектирования.
Генерация игровых ассетов: игровые дизайнеры могут использовать платформу для быстрого создания различных игровых сцен и моделей персонажей, повышая эффективность разработки. Игроки также могут создавать новых персонажей или предметы путём простой сборки из геометрических блоков, при этом ИИ автоматически выполняет оптимизацию и подстройку, обеспечивая бесшовную интеграцию в физический движок.
Пользовательский контент (UGC): платформа поддерживает генерацию 3D-контента по текстовому или графическому вводу, пользователи могут легко редактировать полученные результаты, что открывает новые возможности для UGC в играх.
Виртуальная реальность (VR) и дополненная реальность (AR): в средах виртуальной и дополненной реальности можно быстро создавать реалистичные 3D-объекты, улучшая пользовательский опыт.