Wonder Journey_云技派,专注ai人工智能! 91

Wonder Journey ne nécessite qu'une seule image ou une description textuelle pour créer des animations de scènes 3D. Il s'agit d'un cadre modulaire dédié à la génération de scènes permanentes, développé conjointement par l'Université de Stanford et Google, représentant un projet véritablement révolutionnaire.

Lien d'accès pour découvrir Wonder Journey :https://kovenyu.com/wonderjourney

Contrairement aux travaux précédents de génération de vues, qui se concentraient sur un seul type de scène, nous partons de n'importe quel emplacement fourni par l'utilisateur (via une description textuelle ou une image), et nous générons un long parcours composé de scènes 3D variées mais cohérentes et connectées entre elles. Nous utilisons un LLM pour générer les descriptions textuelles des scènes de ce parcours, un pipeline de génération de nuages de points guidé par le texte, permettant de produire des scènes 3D captivantes et cohérentes, chaque scène étant riche en diversité et étroitement liée aux autres, ainsi qu'un grand VLM pour valider les scènes générées. Nous présentons des résultats visuels saisissants et variés à travers différents types et styles de scènes, formant ce que nous appelons un « wonder journey ».

Ce qui rend Wonder Journey unique, c'est sa capacité à démarrer de manière flexible à partir de n'importe quel emplacement, qu'il s'agisse d'une image ou d'une description textuelle. Cela ouvre la voie à un « wonder journey » — une série de scènes 3D le long d'une trajectoire de caméra, mettant en valeur des paysages variés mais interconnectés.

À partir d'un emplacement arbitraire (spécifié par du texte ou une image), Wonder Journey génère une série de scènes 3D variées mais cohérentes et connectées le long d'une trajectoire de caméra (c'est-à-dire un « wonder journey »). Nous utilisons des trajectoires de caméra aller-retour pour rendre ces « wonder journeys ».

Wonder Journey peut synthétiser de longs « wonder journeys ». Survolez la vidéo avec votre souris pour mettre en pause le défilement automatique.

À partir d'un même point de départ, Wonder Journey peut générer une série de « wonder journeys » variés, se terminant à des destinations différentes. Nous utilisons les trajectonnées de poses de caméra pour rendre chaque vidéo ci-dessous. Survolez la vidéo avec votre souris pour mettre en pause le défilement automatique.

Wonder Journey peut également générer des wonder journeys contrôlés à partir d'une série de descriptions textuelles, telles que des poèmes, des haïkus et des résumés d'histoires. Survolez la vidéo avec votre souris pour mettre en pause le défilement automatique.Cette fonctionnalité permet aux utilisateurs d'influencer la direction thématique et la progression du parcours, ce qui en fait non seulement un outil d'exploration, mais aussi un outil de narration et d'expression artistique.