Neural4D 2o : le premier grand modèle 3D AIGC multimodal au monde, lancé par DreamTech 165

Qu'est-ce que Neural4D 2o ?

Neural4D 2o est le premier grand modèle 3D au monde prenant en charge l'interaction multimodale, lancé par DreamTech. Il permet l'édition interactive en langage naturel du texte, des images et de la 3D, et offre des capacités telles que l'édition locale de haute précision, la préservation de l'identifiant du personnage et le transfert de style, améliorant ainsi l'efficacité de la conception 3D et simplifiant le processus de modification des modèles traditionnels. Son inconvénient est que le temps d'attente pour l'interaction est actuellement assez long.

Fonctionnalités principales de Neural4D 2o

• Interaction multimodale : Neural4D 2o prend en charge les entrées textuelles et visuelles, et permet une édition interactive en temps réel basée sur le langage naturel. Les utilisateurs peuvent générer et modifier du contenu 3D via de simples invites textuelles ou en téléchargeant des images.

• Édition locale haute précision et préservation de l'identifiant du personnage : ce modèle prend non seulement en charge l'édition locale haute précision, mais préserve également de manière stable l'identifiant du personnage, permettant des opérations complexes telles que le changement de tenue et le transfert de style. Par exemple, un utilisateur peut télécharger une image d'un personnage, saisir des invites pour que le modèle génère une version chibi (Q) de la silhouette entière, puis demander à changer de tenue ou à ajuster la pose.

• Génération par composants assemblables : Neural4D 2o introduit une nouvelle approche de génération d'assemblage 3D (3D Assembly Generation), qui simule la structure topologique 3D du monde réel et l'approche des designers humains qui modélisent en 3D par composants. Le modèle est généré par composants et de manière assemblable. Par exemple, pour un personnage, le modèle le décompose en une structure 3D composée de parties telles que la tête, le corps et les vêtements, et la tête elle-même peut être subdivisée en une structure 3D composée de composants tels que les cheveux et les traits du visage.

Architecture technique de Neural4D 2o

Neural4D 2o adopte un entraînement conjoint multimodal intégrant texte, image, 3D et motion, et met en place un transformer encoder unifié associé à un décodeur 3D DiT. Cette architecture permet au modèle de maintenir une compréhension contextuelle hautement cohérente lors de l'exécution des tâches.

Cas d'utilisation de Neural4D 2o

• Conception et modélisation 3D : Neural4D 2o permet même aux utilisateurs non professionnels de réaliser facilement des tâches de conception 3D complexes. Auparavant, les modèles 3D générés par IA ne servaient souvent que de concepts ou de références de modèles grossiers, nécessitant ensuite de nombreuses modifications dans des logiciels spécialisés. Grâce à Neural4D 2o, les utilisateurs peuvent, par simple dialogue en langage naturel, accéder à des capacités de modélisation normalement réservées aux designers 3D professionnels.

• Développement de jeux et production d'animations : ce modèle permet de créer et d'animer rapidement des personnages et objets 3D dans des jeux vidéo, et de générer rapidement du contenu animé pour le cinéma, la publicité ou les vidéos en ligne.

• Expériences de réalité virtuelle : Neural4D 2o peut également être utilisé pour concevoir des environnements et personnages 3D interactifs pour des applications VR.

• Visualisation de produits et impression 3D : les utilisateurs peuvent transformer directement de simples descriptions textuelles ou images en modèles 3D, destinés au marketing, au commerce électronique ou à l'impression 3D.

Avantages et inconvénients

• Avantages : Neural4D 2o affiche déjà une grande maturité en termes de stabilité, de cohérence contextuelle, d'édition locale et de préservation de l'identifiant du personnage. De plus, il prend en charge le protocole MCP et a lancé Neural4D Agent (version alpha) basé sur MCP, offrant aux utilisateurs une expérience de création de contenu 3D plus intelligente, pratique et de haute qualité.

• Inconvénients : le temps de réponse interactif de Neural4D 2o est actuellement assez long, avec une attente moyenne d'environ 2 à 5 minutes. Les utilisateurs peuvent également occasionnellement faire face à des files d'attente, probablement parce que les ressources serveur n'ont pas encore tout à fait suivi la croissance rapide de la demande.

Adresse de test :https://www.neural4d.com/n4d-2o

À propos de DreamTech

DreamTech se spécialise dans la technologie 3D IA et s'engage à améliorer l'expérience utilisateur des créateurs et consommateurs AIGC du monde entier grâce à des produits et services innovants. Notre vision est d'exploiter les technologies d'IA avancées pour créer des expériences spatiales 4D transparentes, interactives en temps réel et intégrées au monde réel, et d'atteindre l'intelligence artificielle générale (AGI) en simulant la complexité et la diversité du monde réel.

DreamTech dispose d'une équipe de premier plan mondial d'experts en reconstruction, génération et rendu 3D, et a développé de manière indépendante un grand modèle génératif 3D polyvalent, doté de capacités telles que la conversion texte-vers-3D et image-vers-3D, largement appliqué dans des scénarios tels que la RA, la RV, les jeux, la conception 3D, l'impression 3D, la publicité, la production d'animations, la production cinématographique et télévisuelle, ainsi que la modélisation industrielle.