PrimitiveAnything: nuevo marco de generación de formas 3D de Tencent AIPD y la Universidad de Tsinghua 77

小编 · 2025-05-14

PrimitiveAnything es un nuevo marco de generación de formas 3D desarrollado conjuntamente por el Departamento de Plataforma de IA de Tencent (aiPD) y la Universidad de Tsinghua. Descompone formas 3D complejas en piezas simples y las recombina en formas completas. Genera modelos de alta calidad que se pueden crear de distintas formas, fáciles de almacenar y editar. Gracias a un enfoque paramétrico claro y una arquitectura autorregresiva, el entrenamiento es estable y preciso. Admite generación 3D a partir de texto o imágenes, añade con flexibilidad nuevos tipos de piezas y se adapta a múltiples representaciones.

PrimitiveAnything: nuevo marco de generación de formas 3D de Tencent AIPD y la Universidad de Tsinghua

¿Qué es PrimitiveAnything?

PrimitiveAnything es un nuevo marco de generación de formas 3D desarrollado conjuntamente por el Departamento de Plataforma de Inteligencia Artificial (AIPD) de Tencent y la Universidad de Tsinghua. Puede descomponer formas 3D complejas en componentes simples y luego recomponerlos en formas completas. Los modelos generados por esta herramienta tienen alta calidad, permiten crear de diferentes maneras y son fáciles de almacenar y editar. Utiliza un método de parametrización claro y una arquitectura autorregresiva, lo que garantiza un proceso de entrenamiento estable y preciso. Admite la generación de contenido 3D a partir de texto o imágenes, y permite añadir de forma flexible nuevos tipos de componentes, adaptándose a múltiples formas de representación.

PrimitiveAnything：腾讯AIPD和清华大学联合开发的新型3D形状生成框架.webp

Funciones principales de PrimitiveAnything

Generación de ensamblajes de primitivas 3D de alta calidad: capaz de generar ensamblajes de primitivas 3D de alta calidad, que son geométricamente fieles a los modelos originales y se ajustan a la comprensión intuitiva humana de las formas.
Creación de contenido 3D diversificado: admite la generación de contenido 3D a partir de condiciones de texto o imagen, ofreciendo a los usuarios una forma flexible de crear.
Almacenamiento y edición eficientes: gracias al uso de representaciones basadas en primitivas, los modelos 3D generados se almacenan de forma más eficiente y, al mismo tiempo, son fáciles de editar y ajustar.
Arquitectura de transformer autorregresivo: genera primitivas 3D fotograma a fotograma mediante un transformer autorregresivo, capaz de manejar secuencias de primitivas de distinta longitud y de ampliarse fácilmente a nuevos tipos de primitivas.
Esquema de parametrización sin ambigüedades: al eliminar la ambigüedad en la parametrización, garantiza la estabilidad y precisión del modelo durante el entrenamiento y la generación.
Fidelidad geométrica y consistencia semántica: durante el proceso de generación, mantiene una alta fidelidad geométrica y es capaz de producir descomposiciones semánticas que se ajustan a la percepción humana.
Diseño modular: el diseño modular del marco permite la integración fluida de nuevos tipos de primitivas, sin necesidad de modificar la arquitectura, y se adapta a diferentes representaciones de primitivas.

PrimitiveAnything主要功能.webp

Principios técnicos

Esquema de parametrización sin ambigüedades: utiliza varios tipos de primitivas (como cubos, cilindros elipsoidales y elipsoides) bajo un esquema de parametrización unificado para representar conjuntamente formas 3D. Para resolver la ambigüedad inherente a la parametrización, el equipo de investigación desarrolló un conjunto completo de reglas que, mediante el análisis de la simetría de las primitivas, selecciona como representación única el conjunto de parámetros de rotación con la menor norma L1, lo que garantiza la estabilidad y precisión del proceso de entrenamiento.
Arquitectura de transformer autorregresivo: adopta una arquitectura Transformer basada en un decodificador, capaz de generar secuencias de primitivas de longitud variable a partir de las características de la forma. Primero, un codificador de nubes de puntos extrae la representación de características de la forma 3D; a continuación, el modelo Transformer autorregresivo recibe estas características junto con la información de las primitivas generadas previamente para predecir las características de la siguiente primitiva. Para modelar las dependencias entre los atributos de las primitivas, se utiliza un decodificador en cascada que predice sucesivamente el tipo, la posición, la rotación y la escala de cada primitiva, capturando las correlaciones naturales entre dichos atributos, en consonancia con la lógica de ensamblaje humana.
Flujo de generación autorregresivo: el proceso completo de abstracción de primitivas se replantea como una tarea de generación de secuencias. El modelo toma una nube de puntos como condición de entrada y genera autorregresivamente la secuencia de primitivas hasta predecir un token de finalización. Durante el entrenamiento, se combinan la pérdida de entropía cruzada, la distancia Chamfer (para la precisión de reconstrucción) y Gumbel-Softmax (para el muestreo diferenciable) hasta que se genera el token de finalización de la secuencia.

PrimitiveAnything技术原理.jpg

Rendimiento

En un conjunto de pruebas que abarca 12 categorías, como muebles, vehículos y arquitectura, PrimitiveAnything demuestra un rendimiento impresionante. Por ejemplo, en la métrica Chamfer Distance (CD), los métodos tradicionales obtienen 0.82, el SOTA actual alcanza 0.45, mientras que PrimitiveAnything llega a 0.21; en la métrica IoU de vóxeles, los métodos tradicionales obtienen un 68%, el SOTA actual un 75%, y PrimitiveAnything un 89%; en la métrica de Consistencia de Segmentación (SC), los métodos tradicionales obtienen 0.63, el SOTA actual 0.71, y PrimitiveAnything 0.92; en la tasa de compresión de almacenamiento, los métodos tradicionales logran 1x, el SOTA actual 3x, y PrimitiveAnything alcanza 15x. Otra capacidad digna de destacar es su generación multimodal: en tareas de generación de texto a 3D, el sistema puede comprender con precisión descripciones complejas como "una silla de comedor de madera con un respaldo curvado" y generar combinaciones de primitivas coherentes con la semántica.

Casos de uso de PrimitiveAnything

Modelado y diseño 3D: permite generar rápidamente el "esqueleto geométrico" de modelos 3D complejos, sobre el cual los diseñadores pueden centrarse en el refinamiento de los detalles, mejorando la eficiencia y la velocidad de diseño.
Generación de assets para videojuegos: los diseñadores de juegos pueden utilizarlo para generar rápidamente diversos escenarios y modelos de personajes, aumentando la eficiencia del desarrollo. Los jugadores también pueden crear nuevos personajes o accesorios mediante un sencillo ensamblaje de bloques geométricos, con ajustes y optimizaciones automáticas por parte de la IA, integrándose sin problemas en el motor de física.
Contenido generado por el usuario (UGC): el marco admite la generación de contenido 3D a partir de entradas de texto o imagen, y los usuarios pueden editar fácilmente los resultados generados, lo que abre nuevas posibilidades para el UGC en los juegos.
Realidad Virtual (VR) y Realidad Aumentada (AR): en entornos de realidad virtual y aumentada, permite generar rápidamente objetos 3D realistas, mejorando la experiencia del usuario.