Tencent Hunyuan3D : le premier modèle 3D open source prenant en charge texte et image 124

Hunyuan3D de Tencent, dont le nom complet est Hunyuan3D-1.0, est un modèle 3D open source lancé par Tencent qui prend en charge simultanément la génération à partir de texte et d'images, afin de remédier aux insuffisances des modèles de génération 3D existants en termes de vitesse de génération et de capacité de généralisation.

Le modèle de génération 3D Hunyuan de Tencent est basé sur la technologie Diffusion et prend en charge la génération d'actifs 3D à partir de texte et d'images. Le modèle est équipé d'encodeurs de texte et d'image soigneusement conçus, d'un modèle de diffusion et d'un décodeur 3D, permettant la génération multi-vues, la reconstruction et la génération à partir d'une seule vue. Le grand modèle Hunyuan 3D de Tencent peut générer rapidement de magnifiques objets 3D, adaptés à une variété d'applications en aval.

Caractéristiques techniques et innovations de Hunyuan 3D de Tencent :

Génération rapide : la version légère du modèle permet de générer des actifs 3D de haute qualité en 10 secondes, prenant en charge la génération 3D rapide à partir d'une seule image, avec une génération de bout en bout en moins de 10 secondes, incluant l'extraction du mesh et de la texture.

Méthode de génération en deux étapes : Hunyuan3D-1.0 adopte un flux en deux phases, à savoir la génération multi-vues et la reconstruction multi-vues. Tout d'abord, un modèle de diffusion multi-vues synthétise 6 images sous différents angles de vue, puis un modèle de reconstruction à grande échelle basé sur Transformer, fonctionnant à partir de vues éparses, traite ces images pour finalement générer l'actif 3D.

Technique CFG adaptative : lors de la phase de génération multi-vues, l'ajustement des valeurs d'échelle du classifier-free guidance (CFG) pour différentes vues et pas de temps garantit que les images générées sont à la fois proches de l'entrée et diversifiées.

Caractère open source complet : les poids du modèle, le code d'inférence, les algorithmes, etc., sont tous open source. Une version légère et une version standard sont fournies ; la version légère permet de générer des actifs 3D en environ 10 secondes sur un GPU A100, ce qui réduit considérablement le seuil de création de contenu 3D.

Forte capacité de généralisation : capacité de généralisation et contrôlabilité élevées, capable de reconstruire des objets de toutes échelles, des grands bâtiments aux petits outils et fleurs, répondant à divers besoins créatifs.

Performances et applications de Hunyuan 3D de Tencent :

• Dépassement du SOTA : dans les évaluations qualitatives et quantitatives, Hunyuan3D-1.0 surpasse les autres modèles open source, notamment en termes de vitesse de génération et de capacité de généralisation.

• Applications variées : la technologie Hunyuan3D a déjà été appliquée à plusieurs scénarios métiers de Tencent, comme la reconstruction des logos 3D de voitures sur Tencent Maps, dont la vitesse a été améliorée de 91 %. De plus, sur Tencent Maps, grâce au grand modèle Hunyuan 3D, une fonctionnalité personnalisée de logos de navigation 3D a été lancée, permettant aux utilisateurs de créer des logos de navigation 3D personnalisés ; par rapport à la solution traditionnelle, la vitesse a été améliorée de 91 %. Une fonctionnalité « Usine à rêves de personnages 3D » a également été lancée, prenant en charge la génération personnalisée de personnages 3D, offrant aux utilisateurs une plus grande liberté créative.

• Impact sectoriel : le caractère open source de Hunyuan3D-1.0 fournit un outil puissant pour le développement de jeux, la production cinématographique, la réalité virtuelle et d'autres domaines, favorisant l'innovation et l'application de la génération de contenu 3D par ia.

Scénarios d'application de Hunyuan 3D de Tencent :

• Développement de jeux : génération d'actifs 3D de haute qualité tels que personnages, accessoires et bâtiments de jeux, improving game development efficiency

• Cinéma et animation : génération automatique de personnages 3D et d'effets d'action pour les créateurs, aiding in animation creation

• E-commerce et publicité : génération de produits 3D selon le thème créatif publicitaire, realizing interactive effects et enhancing ad content creativity

• Réalité virtuelle (VR) / Réalité augmentée (AR) : génération d'éléments d'environnement virtuel 3D réalistes et de contenu interactif, enhancing immersive experience

Le grand modèle de génération 3D « Hunyuan3D-1.0 » de Tencent a été officiellement open source le 5 novembre. Il s'agit du premier grand modèle open source du secteur prenant en charge simultanément la génération 3D à partir de texte et d'images, avec deux options : une version légère et une version standard. La version légère permet de générer des actifs 3D de haute qualité en seulement 10 secondes, répondant aux besoins de fine-tuning et de déploiement des entreprises et des développeurs. Hunyuan3D améliorera considérablement l'efficacité de génération d'actifs 3D, offrant aux développeurs davantage d'opportunités créatives.

Projet Github :https://github.com/Tencent/Hunyuan3D-1

Hugging Face :https://huggingface.co/tencent/Hunyuan3D-1

Actualités connexes :

腾讯混元DiT : un modèle de génération texte-vers-image lancé par Tencent