PartCrafter: un modelo de generación 3D que crea múltiples piezas y objetos a partir de una sola imagen 63

小编 · 2025-06-12

PartCrafter es una nueva herramienta de generación 3D desarrollada conjuntamente por la Universidad de Pekín, ByteDance y la Universidad Carnegie Mellon. Puede generar directamente múltiples mallas 3D con estructuras y formas definidas a partir de una sola imagen RGB.

PartCrafter: un modelo de generación 3D que crea múltiples piezas y objetos a partir de una sola imagen

¿Qué es PartCrafter?

PartCrafter es una nueva herramienta de generación 3D desarrollada en colaboración por la Universidad de Pekín, ByteDance y la Universidad Carnegie Mellon. Es capaz de generar directamente múltiples mallas 3D con estructura y forma definidas a partir de una simple imagen RGB.

PartCrafter: modelo de generación 3D que genera múltiples partes y objetos a partir de una sola imagen.webp

Funciones principales

Generación de múltiples partes: PartCrafter puede generar múltiples piezas 3D independientes a partir de una sola imagen de una vez, sin necesidad de segmentar la imagen previamente.
Operaciones a nivel de parte: el modelo 3D generado permite editar cada parte de forma individual, por ejemplo, ajustar la posición, el ángulo de rotación o el tamaño.
Generación con un solo clic: el usuario solo tiene que proporcionar una imagen y PartCrafter generará directamente escenas 3D complejas.
Generación eficiente: gracias al Transformer de Difusión de Mallas 3D (DiT) preentrenado, PartCrafter consigue una velocidad de generación mayor.

Principios técnicos

Espacio latente compositivo: cada parte 3D se representa mediante un conjunto independiente de tokens latentes. De esta manera, las partes pueden desarrollarse de forma autónoma durante la generación, conservando los detalles a nivel de parte.
Mecanismo de atención jerárquica: este mecanismo permite que la información fluya de manera ordenada dentro de cada parte y entre las distintas partes, garantizando la coherencia global de lo generado.
Basado en un Transformer de Difusión de Mallas 3D (DiT) preentrenado: hereda los pesos, el codificador y el decodificador preentrenados, lo que eleva aún más la capacidad generativa del modelo.
Generación consciente de las partes de extremo a extremo: a partir de una sola imagen, es posible eliminar el ruido de varias partes 3D simultáneamente, logrando la generación directa desde un objeto individual hasta escenas complejas con múltiples objetos.

Datos y entrenamiento

Conjunto de datos: se extrajeron anotaciones a nivel de parte de un gran conjunto de datos 3D, construyendo un conjunto de datos con aproximadamente 50.000 objetos anotados y 300.000 partes independientes.
Método de entrenamiento: se adopta una estrategia de aprendizaje curricular para optimizar progresivamente el rendimiento del modelo.

Escenarios de aplicación

Desarrollo de videojuegos: permite generar rápidamente activos 3D de alta calidad para videojuegos, como personajes, objetos y escenarios. Los desarrolladores solo necesitan una imagen o una breve descripción para obtener rápidamente una gran cantidad de modelos 3D, acelerando enormemente el desarrollo del juego.
Arquitectura y diseño de interiores: permite generar rápidamente modelos arquitectónicos y propuestas de decoración de interiores. Los diseñadores suben los planos arquitectónicos o bocetos de diseño y obtienen al instante modelos 3D, lo que facilita la presentación de propuestas y permite a los clientes comprender mejor las ideas de diseño.
Producción audiovisual: ofrece modelado geométrico con detalles de ultra alta definición y permite generar modelos PBR a partir de entradas multivista, proporcionando al equipo de producción audiovisual material de modelos 3D de alta calidad.

Rendimiento

Alta eficiencia: generar un modelo 3D estructurado a partir de una sola imagen lleva aproximadamente 40 segundos.
Alta precisión: la precisión en la generación de partes y la coherencia de la escena mejoran un 32 % y un 28 %, respectivamente, en comparación con los métodos existentes.