PrimitiveAnything : un nouveau cadre de génération de formes 3D par Tencent AIPD et l'Université Tsinghua 79

小编 · 2025-05-14

PrimitiveAnything est un nouveau cadre de génération de formes 3D développé conjointement par l'AI Platform Department (aiPD) de Tencent et l'Université Tsinghua. Il décompose les formes 3D complexes en parties simples puis les recombine en une forme complète. Il produit des modèles de haute qualité, faciles à créer de différentes manières, à stocker et à éditer. Grâce à une approche paramétrique claire et à une architecture autorégressive, l'entraînement reste stable et précis. Il prend en charge la génération 3D à partir de texte ou d'image, intègre facilement de nouveaux types de pièces et s'adapte à plusieurs représentations.

PrimitiveAnything : un nouveau cadre de génération de formes 3D par Tencent AIPD et l'Université Tsinghua

Qu'est-ce que PrimitiveAnything ?

PrimitiveAnything est un nouveau cadre de génération de formes 3D développé conjointement par la plateforme d'IA de Tencent (aiPD) et l'Université Tsinghua. Il peut décomposer des formes 3D complexes en composants simples, puis les recombiner en formes complètes. Les modèles générés par cet outil sont de haute qualité, permettent différentes méthodes de création, et sont faciles à stocker et à éditer. Il utilise une méthode de paramétrage claire et une architecture autorégressive, garantissant un processus d'entraînement stable et précis. Il prend en charge la génération de contenu 3D à partir de texte ou d'images, et permet d'ajouter flexiblement de nouveaux types de composants, en s'adaptant à diverses représentations.

PrimitiveAnything : cadre de génération de formes 3D développé conjointement par Tencent AIPD et l'Université Tsinghua.webp

Fonctionnalités principales de PrimitiveAnything

Génération d'assemblages de primitives 3D de haute qualité : capable de générer des assemblages de primitives 3D de haute qualité, géométriquement fidèles aux modèles originaux et conformes à la compréhension intuitive des formes par les humains.
Création de contenu 3D diversifiée : prend en charge la génération de contenu 3D à partir de conditions textuelles ou d'images, offrant aux utilisateurs un mode de création flexible.
Stockage et édition efficaces : grâce à l'utilisation de la représentation par primitives, les modèles 3D générés sont plus efficaces à stocker, tout en étant faciles à éditer et à ajuster.
Architecture de transformeur autorégressif : génère des primitives 3D image par image via un transformeur autorégressif, capable de traiter des séquences de primitives de différentes longueurs, et peut être facilement étendu à de nouveaux types de primitives.
Schéma de paramétrage sans ambiguïté : en éliminant l'ambiguïté dans le paramétrage, assure la stabilité et la précision du modèle pendant l'entraînement et la génération.
Fidélité géométrique et cohérence sémantique : pendant le processus de génération, maintient une fidélité géométrique élevée, et est capable de générer des résultats de décomposition sémantique conformes à la cognition humaine.
Conception modulaire : la conception modulaire du cadre permet l'intégration transparente de nouveaux types de primitives sans modification de l'architecture, et s'adapte à différentes représentations de primitives.

Fonctionnalités principales de PrimitiveAnything.webp

Principes techniques

Schéma de paramétrage sans ambiguïté : utilise plusieurs types de primitives (telles que les cubes, les cylindres elliptiques et les ellipsoïdes) pour représenter conjointement des formes 3D selon un schéma de paramétrage unifié. Pour résoudre l'ambiguïté inhérente au paramétrage, l'équipe de recherche a développé un ensemble complet de règles : en analysant la symétrie des primitives, elle sélectionne le groupe dont la norme L1 des paramètres de rotation est minimale comme représentation unique, garantissant ainsi la stabilité et la précision du processus d'entraînement.
Architecture de transformeur autorégressif : adopte une architecture Transformer basée sur un décodeur, capable de générer des séquences de primitives de longueur variable en fonction des caractéristiques de forme. Tout d'abord, un encodeur de nuage de points extrait la représentation des caractéristiques de la forme 3D, puis le modèle Transformer autorégressif reçoit ces caractéristiques de forme ainsi que les informations sur les primitives précédemment générées, pour prédire les caractéristiques de la primitive suivante. Afin de modéliser les dépendances entre les attributs des primitives, un décodeur en cascade est utilisé pour prédire séquentiellement le type, la position, la rotation et l'échelle des primitives, capturant les corrélations naturelles entre les attributs des primitives, ce qui correspond à la logique d'assemblage humaine.
Processus de génération autorégressif : reconsidère l'ensemble du processus d'abstraction par primitives comme une tâche de génération de séquences. Le modèle prend un nuage de points comme condition d'entrée, puis génère de manière autorégressive une séquence de primitives jusqu'à ce qu'un jeton de fin soit prédit. Pendant l'entraînement, une combinaison de la perte d'entropie croisée, de la distance de Chamfer (pour la précision de reconstruction) et de Gumbel-Softmax (pour l'échantillonnage différentiable) est utilisée, jusqu'à ce que le jeton de fin de séquence soit généré.

Principes techniques de PrimitiveAnything.jpg

Performances

Sur un ensemble de tests couvrant 12 catégories telles que le mobilier, les moyens de transport et l'architecture, PrimitiveAnything a démontré des performances remarquables. Par exemple, sur la métrique de distance de chanfrein (CD), les méthodes traditionnelles atteignent 0,82, l'état de l'art (SOTA) existant est de 0,45, tandis que PrimitiveAnything atteint 0,21 ; sur la métrique voxel IoU, les méthodes traditionnelles sont à 68 %, le SOTA existant à 75 %, et PrimitiveAnything à 89 % ; sur la métrique de cohérence de segmentation (SC), les méthodes traditionnelles sont à 0,63, le SOTA existant à 0,71, et PrimitiveAnything à 0,92 ; en termes de taux de compression de stockage, les méthodes traditionnelles sont à 1x, le SOTA existant à 3x, et PrimitiveAnything atteint 15x. Il convient également de souligner sa capacité de génération multimodale : dans les tâches de génération texte-vers-3D, le système peut comprendre avec précision des descriptions complexes telles que « une chaise de salle à manger en bois avec un dossier incurvé », et générer des structures d'assemblage de primitives conformes à la sémantique.

Scénarios d'application de PrimitiveAnything

Modélisation et conception 3D : capable de générer rapidement le « squelette géométrique » de modèles 3D complexes, sur lequel les concepteurs peuvent se concentrer pour peaufiner les détails, améliorant ainsi l'efficacité du travail et la vitesse de conception.
Génération d'actifs de jeu : les concepteurs de jeux peuvent l'utiliser pour générer rapidement divers scénarios de jeu et modèles de personnages, améliorant ainsi l'efficacité de développement. Les joueurs peuvent également créer de nouveaux personnages ou objets en assemblant simplement des blocs géométriques, optimisés et ajustés automatiquement par l'IA, et intégrés de manière transparente au moteur physique.
Contenu généré par les utilisateurs (UGC) : le cadre prend en charge la génération de contenu 3D à partir d'entrées textuelles ou d'images, et les utilisateurs peuvent facilement éditer les résultats générés, offrant de nouvelles possibilités pour l'UGC dans les jeux.
Réalité virtuelle (VR) et réalité augmentée (AR) : dans les environnements de réalité virtuelle et de réalité augmentée, il permet de générer rapidement des objets 3D réalistes, améliorant ainsi l'expérience utilisateur.