ImmerseGen : un framework de génération de scènes 3D par ByteDance et l'Université du Zhejiang 66

Qu'est-ce qu'ImmerseGen ?

ImmerseGen est un cadre de génération de scènes 3D développé conjointement par ByteDance et l'Université du Zhejiang. Il utilise des techniques de guidage par agents et de synthèse de textures RGBA pour générer des scènes VR très réalistes à partir de descriptions textuelles fournies par l'utilisateur, comme « générer un paysage naturel automnal ». Il est particulièrement adapté au rendu en temps réel sur des casques VR, réduisant considérablement la dépendance des utilisateurs à des assets complexes, tout en garantissant la diversité et le réalisme des scènes.

Fonctionnalités phares

• Léger et efficace : géométrie proxy hiérarchique et synthèse de textures RGBA pour une modélisation de scène hautement efficace.

• Génération automatique : combinaison de textures conditionnées par le terrain et de modèles vision-langage (VLM) pour une génération de scènes VR très automatisée.

• Excellente expérience visuelle : supérieur à l'état de l'art en termes de réalisme, de cohérence spatiale et d'efficacité de rendu.

• Large applicabilité : compatible avec tous les appareils VR mobiles, offrant des solutions de génération de scènes 3D de haute qualité pour les domaines concernés.

Méthodologie et processus

• Terrain de base : à partir de l'entrée utilisateur, récupération d'un terrain de base, puis synthèse de textures RGBA conditionnées par le terrain et skybox pour former un monde de base.

• Assets légers : utilisation d'un VLM pour sélectionner les modèles appropriés, concevoir des prompts d'assets et déterminer la disposition des assets dans la scène ; les assets sont instanciés en assets texturés alpha via RaystexturedComposite enrichi contextuellement.

• Amélioration de l'immersion multimodale : immersion renforcée grâce à des effets visuels dynamiques et à l'ambiance sonore.

Exemples d'applications

• VR et AR : utilisé pour le développement de jeux, le tourisme virtuel, l'éducation et la formation, offrant une expérience immersive pour la génération rapide de scènes et de niveaux.

• Architecture et immobilier : appliqué à la visite virtuelle de logements et à la conception architecturale, facilitant la compréhension et les retours des clients sur les modèles 3D.

• Cinéma et animation : utilisé pour la création d'effets spéciaux et la conception de scènes, réduisant le besoin de tournage et offrant des effets visuels de qualité.

• Réseaux sociaux et création de contenu : fournit des arrière-plans virtuels et des scènes 3D de haute qualité pour les appels vidéo, le streaming en direct et la création de contenu.

• Simulation et entraînement : utilisé pour l'entraînement militaire et la formation médicale, en développant des champs de bataille et des espaces médicaux réalistes.

• Retail et e-commerce : génère des boutiques virtuelles et des modèles 3D de produits, améliorant l'expérience d'achat et la présentation des produits.

Questions fréquemment posées

1. Comment ImmerseGen parvient-il à une génération de scènes VR efficace ?

Réponse : en trois étapes : génération du monde de base, conception et disposition des assets via une technique de guidage par agents, puis amélioration de l'immersion grâce à des effets dynamiques et à l'ambiance sonore. L'essentiel est de remplacer les assets complexes par des proxies texturés alpha, ce qui réduit la complexité de calcul et permet le rendu en temps réel sur casques VR.

2. À quoi servent les proxies d'assets ?

Réponse : les proxies d'assets s'appuient sur un modèle vision-langage (VLM) pour sélectionner les modèles appropriés, générer des prompts pour les assets et déterminer leur profil horizontal, garantissant la cohérence contextuelle des assets et automatisant leur conception et leur agencement.

3. Quels sont les avantages d'ImmerseGen par rapport aux techniques classiques de génération de scènes VR ?

Réponse : les techniques classiques reposent sur des assets 3D complexes, tandis qu'ImmerseGen utilise des proxies texturés alpha guidés par agents, réduisant considérablement la dépendance aux assets complexes. Grâce à la synthèse de textures conditionnées par le terrain, il préserve le réalisme et la diversité des scènes, prend en charge le rendu en temps réel sur casques VR et améliore la fluidité de l'expérience utilisateur.

Adresse du projet

https://immersegen.github.io/