Wonder Journey_云技派,专注ai人工智能! 86

Wonder Journey — требуется всего 1 изображение или текстовое описание для создания 3D анимации сцен. Это модульный фреймворк для генерации постоянных сцен, созданный совместно Стэнфордским университетом и Google, и представляет собой прорывной проект.

Ссылка для доступа к Wonder Journey:https://kovenyu.com/wonderjourney

В отличие от предыдущих работ по генерации видов, сфокусированных на сценах одного типа, мы начинаем с любого места, предоставленного пользователем (через текстовое описание или изображение), и генерируем длинную цепочку различных, но связных между собой 3D-сцен, формирующих путешествие. Мы используем LLM для создания текстовых описаний сцен в этом путешествии, конвейер генерации облаков точек на основе текста для создания увлекательных и связных 3D-сцен, каждая из которых отличается разнообразием и тесной связью с предыдущими, а также большую VLM для проверки сгенерированных сцен. Мы демонстрируем впечатляющие и разнообразные визуальные эффекты в различных типах и стилях сцен, формируя воображаемое «Удивительное путешествие».

Уникальность Wonder Journey заключается в том, что он может гибко запускаться из любого места — будь то изображение или текстовое описание. Это открывает «Удивительное путешествие» — серию 3D-сцен вдоль траектории камеры, демонстрирующих разнообразные, но взаимосвязанные ландшафты.

Начиная с любого места (заданного текстом или изображением), Wonder Journey генерирует серию разнообразных, но связных между собой 3D-сцен вдоль траектории камеры (то есть «Удивительное путешествие»). Для рендеринга «Удивительного путешествия» мы используем возвратно-поступательную траекторию камеры.

Wonder Journey способен синтезировать продолжительные «wonder journeys». Наведите курсор на видео, чтобы приостановить автоматическую прокрутку.

Начиная с одного и того же места, Wonder Journey может генерировать серию разнообразных «Удивительных путешествий», заканчивающихся в разных пунктах назначения. Для рендеринга каждого видео ниже мы используем траекторию поз камеры. Наведите курсор на видео, чтобы приостановить автоматическую прокрутку.

Wonder Journey также может генерировать управляемые wonder journeys по заданной серии текстовых описаний, таких как стихотворения, хайку и краткие содержания рассказов. Наведите курсор на видео, чтобы приостановить автоматическую прокрутку.Эта функция позволяет пользователю влиять на тематическое направление и ход путешествия, делая его не просто инструментом исследования, но и средством повествования и художественного самовыражения.