Wonder Journey_云技派,专注ai人工智能! 88

Wonder Journey, con solo 1 imagen o un párrafo de texto descriptivo, permite crear animaciones de escenas 3D. Se trata de un marco modular para la generación de escenas permanentes, desarrollado conjuntamente por la Universidad de Stanford y Google, y constituye un proyecto vanguardista.

Enlace de acceso a Wonder Journey:https://kovenyu.com/wonderjourney

A diferencia de trabajos anteriores centrados en la generación de vistas de un único tipo de escena, partimos desde cualquier ubicación proporcionada por el usuario (ya sea mediante una descripción de texto o una imagen) y generamos un largo recorrido compuesto por escenas 3D diferentes pero coherentemente conectadas. Utilizamos un LLM para generar las descripciones textuales de las escenas a lo largo de este recorrido, un pipeline de generación de nubes de puntos impulsado por texto para crear escenas 3D cautivadoras y coherentes, cada una diversa y estrechamente vinculada, así como un gran VLM para validar las escenas generadas. Mostramos resultados visuales impactantes y diversos en una amplia variedad de tipos y estilos de escenas, conformando un imaginativo "viaje maravilloso".

Lo que hace único a Wonder Journey es su flexibilidad para iniciarse desde cualquier ubicación, ya sea una imagen o una descripción de texto. Esto da comienzo a un "viaje maravilloso": una serie de escenas 3D a lo largo de una trayectoria de cámara que muestra paisajes diversos pero interconectados.

Partiendo de cualquier ubicación (especificada mediante texto o imagen), Wonder Journey genera una serie de escenas 3D diversas pero coherentemente conectadas a lo largo de una trayectoria de cámara (es decir, un "viaje maravilloso"). Utilizamos una trayectoria de cámara de ida y vuelta para renderizar el "viaje maravilloso".

Wonder Journey puede sintetizar "wonder journeys" extensos. Pase el ratón sobre el vídeo para pausar el desplazamiento automático.

Comenzando desde la misma ubicación, Wonder Journey puede generar una serie de "viajes maravillosos" diversos que finalizan en destinos diferentes. Utilizamos la trayectoria de las poses de cámara para renderizar cada uno de los vídeos siguientes. Pase el ratón sobre el vídeo para pausar el desplazamiento automático.

Wonder Journey también puede generar "wonder journeys" controlados a partir de una serie de descripciones de texto, como poemas, haikus y resúmenes de historias. Pase el ratón sobre el vídeo para pausar el desplazamiento automático.Esta función permite al usuario influir en la dirección temática y el desarrollo del viaje, convirtiéndolo no solo en una herramienta de exploración, sino también en una herramienta para contar historias y expresarse artísticamente.