PartCrafter : un modèle de génération 3D qui crée plusieurs pièces et objets à partir d'une seule image 67

小编 · 2025-06-12

PartCrafter est un nouvel outil de génération 3D développé conjointement par l'Université de Pékin, ByteDance et l'Université Carnegie Mellon. Il peut générer directement plusieurs maillages 3D avec des structures et des formes définies à partir d'une seule image RGB standard.

PartCrafter : un modèle de génération 3D qui crée plusieurs pièces et objets à partir d'une seule image

Qu'est-ce que PartCrafter ?

PartCrafter est un nouvel outil de génération 3D développé conjointement par l'Université de Pékin, ByteDance et l'Université Carnegie Mellon. Il peut générer directement plusieurs maillages 3D avec une structure et une forme bien définies à partir d'une simple image RVB.

PartCrafter : modèle de génération 3D générant plusieurs pièces et objets à partir d'une seule image.webp

Fonctionnalités principales

Génération multi-pièces : PartCrafter est capable de générer en une seule fois plusieurs pièces 3D indépendantes à partir d'une seule image, sans avoir besoin de segmenter l'image au préalable.
Manipulation au niveau des pièces : le modèle 3D généré permet d'éditer chaque pièce individuellement, par exemple en ajustant la position, l'angle de rotation ou l'échelle.
Génération en un clic : l'utilisateur n'a qu'à fournir une seule image et PartCrafter génère directement une scène 3D complexe.
Génération efficace : grâce au Transformer de diffusion de maillage 3D (DiT) pré-entraîné, PartCrafter offre une vitesse de génération plus rapide.

Principe technique

Espace latent compositionnel : chaque pièce 3D est représentée par un ensemble indépendant de jetons latents. Ainsi, les pièces peuvent se développer indépendamment lors de la génération, tout en préservant les détails au niveau de chaque pièce.
Mécanisme d'attention hiérarchique : ce mécanisme permet à l'information de circuler de manière ordonnée au sein d'une même pièce et entre les différentes pièces, garantissant la cohérence globale du résultat généré.
Basé sur un Transformer de diffusion de maillage 3D (DiT) pré-entraîné : il hérite des poids, de l'encodeur et du décodeur pré-entraînés, ce qui renforce encore les capacités de génération du modèle.
Génération consciente des pièces de bout en bout : à partir d'une seule image, il peut débruiter simultanément plusieurs pièces 3D, permettant la génération directe d'un objet unique à des scènes multi-objets complexes.

Données et entraînement

Jeu de données : des annotations au niveau des pièces ont été extraites d'un vaste ensemble de données 3D, permettant de constituer un jeu de données contenant environ 50 000 objets annotés et 300 000 pièces indépendantes.
Méthode d'entraînement : une stratégie d'apprentissage par curriculum est adoptée pour optimiser progressivement les performances du modèle.

Cas d'utilisation

Développement de jeux vidéo : permet de générer rapidement des ressources 3D de haute qualité pour les jeux, comme des personnages, des objets et des scènes. Il suffit aux développeurs de fournir une image ou une description simple pour obtenir rapidement un grand nombre de modèles 3D, accélérant ainsi considérablement le développement du jeu.
Architecture et design d'intérieur : permet de générer rapidement des modèles architecturaux et des propositions de décoration intérieure. Les concepteurs peuvent télécharger des plans architecturaux ou des croquis de conception et obtenir immédiatement des modèles 3D, facilitant ainsi la présentation des projets et permettant aux clients de mieux comprendre les intentions de conception.
Production cinématographique et télévisuelle : grâce à sa capacité de modélisation géométrique ultra-haute définition et à la génération de modèles PBR à partir d'entrées multi-vues, il fournit aux équipes de production cinématographique et télévisuelle des ressources de modèles 3D de haute qualité.

Performances

Haute efficacité : la génération d'un modèle 3D structuré à partir d'une seule image ne prend qu'environ 40 secondes.
Haute précision : la précision de génération des pièces et la cohérence des scènes sont améliorées respectivement de 32 % et 28 % par rapport aux méthodes existantes.