Marble : modèle de monde 3D multimodal 86

Marble est un modèle de monde 3D multimodal conçu pour les créateurs, lancé par World Labs de Fei-Fei Li. Il permet de générer des environnements 3D visitables, modifiables et téléchargeables à partir de texte, d'une ou plusieurs images, de courtes vidéos ou de mises en page 3D simples, tout en offrant un contrôle de la caméra et une édition interactive au pixel près. Il est principalement utilisé dans le développement de jeux vidéo, les effets spéciaux pour le cinéma, la réalité virtuelle et autres domaines similaires. Sa particularité est que les mondes 3D générés conservent leur cohérence et ne se déforment pas de manière aléatoire.

Fonctionnalités principales de Marble

• Génération 3D multimodale : accepte divers types d'entrée, tels que du texte, une image unique, des photos sous différents angles ou de courtes vidéos. Par exemple, en écrivant « cuisine de Hobbit », on obtient une scène 3D complète avec des meubles en bois et des ustensiles en cuivre ; en téléchargeant une simple photo de pièce, un environnement 3D panoramique à 360 degrés est généré en environ 6 minutes. L'utilisation de plusieurs images ou de vidéos permet de rendre les jumeaux numériques plus réalistes. De plus, l'utilisateur peut d'abord construire un cadre 3D avec des formes géométriques simples, et l'IA ajoutera automatiquement des détails tels que les effets de lumière et les matériaux.

• Édition et extension flexibles : c'est le premier modèle intégrant nativement des outils d'édition IA. Il permet de modifier uniquement une partie ou d'ajuster la structure : par exemple, une seule phrase suffit pour retirer une poubelle de la scène, et les effets de lumière s'adaptent automatiquement. Avec son éditeur Chisel, on peut d'abord placer des formes géométriques pour définir la structure spatiale, puis définir le style avec du texte ; la même structure peut être transformée en scènes de styles différents simplement en changeant les prompts. Il est également possible d'ajouter des détails aux bords de la scène, ou d'utiliser le « mode synthétiseur » pour assembler plusieurs scènes indépendantes de manière transparente.

• Exportation multi-formats adaptable : les résultats peuvent être exportés en formats de nuage de points gaussiens, de maillage triangulaire, etc. Les maillages triangulaires sont divisés en maillages de collision basse précision et maillages de rendu haute précision, directement intégrables dans des logiciels professionnels comme Unity et Unreal Engine. Il est également possible d'exporter des vidéos et d'y ajouter des effets dynamiques générés par IA, comme de la fumée ou de l'eau en mouvement. La plateforme prend aussi en charge les casques VR tels que Apple Vision Pro et Meta Quest 3, pour créer directement des expériences VR.

• Éditeur 3D expérimental Chisel : on construit d'abord le « squelette » spatial avec des formes géométriques de base, puis on définit le « style » global avec du texte, permettant ainsi de séparer et de réutiliser la structure et le style.

• Extension et combinaison de mondes : permet d'ajouter des détails en un clic aux zones sélectionnées, ou d'utiliser le mode combinaison pour fusionner plusieurs mondes indépendants en un espace plus vaste.

Flux de travail typique de Marble

• Choisir d'abord le mode d'entrée : le texte ou une image unique permettent d'obtenir rapidement un concept, tandis que plusieurs images ou vidéos offrent une meilleure précision et un meilleur contrôle. Pour les scènes complexes, il est préférable d'utiliser plusieurs images ou des vidéos.

• Générer le monde : une fois l'environnement 3D visitable obtenu, vérifier d'abord dans les vues 2D ou 3D si la perspective, l'échelle et le style sont cohérents.

• Édition fine : utiliser les outils IA pour modifier des zones locales ou combler les zones manquantes, ou utiliser Chisel pour reconstruire la structure puis changer de style, afin d'ajuster séparément la structure et l'apparence.

• Extension de l'échelle : ajouter des détails aux bords ou aux zones faibles, ou utiliser le mode combinaison pour fusionner plusieurs petits mondes en un grand espace, afin d'augmenter la richesse des niveaux.

• Exportation et mise en œuvre : pour un affichage haute définition, utiliser le splatting gaussien ; pour des assets dans des moteurs de jeu ou de cinéma, utiliser les maillages ; pour des bandes-annonces ou des essais de plans, utiliser le rendu vidéo avec effets ; pour un partage web, on peut utiliser le moteur de rendu open source Spark compatible avec THREE.js.

Tarifs d'abonnement de Marble

Quatre formules sont disponibles. La version gratuite offre 7 000 points par mois, permet de créer jusqu'à 4 mondes et n'accepte que les entrées de base comme le texte et les images ; la version Standard, à 20 dollars par mois, propose 20 000 points mensuels, permet de créer 12 mondes et accepte les entrées multi-images et vidéo ; la version Pro, à 35 dollars par mois (1 dollar le premier mois), offre 40 000 points par mois, permet de créer 25 mondes et autorise un usage commercial ; la version Elite, à 95 dollars par mois, propose 120 000 points mensuels, permet de créer 75 mondes et débloque toutes les fonctionnalités.

Cas d'usage de Marble

• Développement de jeux vidéo : création rapide de prototypes de niveaux explorables et d'ambiances, avec des assets directement intégrables dans les moteurs courants.

• Effets visuels pour le cinéma : fournit des assets 3D bien contrôlés et des trajectoires de caméra précises pour les essais de plans et les environnements d'arrière-plan.

• Réalité virtuelle / présentations immersives : création d'expériences immersives visitables et de présentations interactives.

• Simulation pour robots : génère des environnements variés pour l'entraînement par simulation, réduisant ainsi la difficulté de collecte de données.

Avantages et limites de Marble

• Avantages : bien plus rapide que la modélisation traditionnelle, une scène simple pouvant être réalisée en quelques minutes. Des équipes d'Hollywood l'utilisent pour réduire le temps de prévisualisation d'un film de 3 mois à 2 jours. Pour les scènes statiques de petite échelle comme les pièces, la structure et le style sont relativement stables, avec des textures suffisantes. Les formats d'exportation sont compatibles avec les principaux outils de développement et casques VR, permettant d'enchaîner directement de la création à l'utilisation.

• Limites : lorsque la scène est plus grande qu'une pièce, les zones éloignées ont tendance à devenir floues ou à se déformer. La composition multi-images peut présenter des blocages, et le taux de réussite sur les scènes complexes doit encore être amélioré. Pour l'instant, seules les scènes statiques sont prises en charge, sans éléments animés ni effets physiques, et la restitution de certaines exigences complexes n'est pas encore suffisamment précise.

Marble abaisse la difficulté de la rédaction de prompts : en quelques minutes, n'importe qui peut obtenir un monde 3D visitable, modifiable et téléchargeable. C'est actuellement le seul outil de production d'« intelligence spatiale générative » accessible au public.

Actualités connexes :

Modèles 3D générés par IA