Wonder Journey_云技派,专注ai人工智能! 87

Wonder Journey는 단 1장의 이미지 또는 텍스트 설명만으로 3D 장면 애니메이션을 생성할 수 있습니다. 이는 영구적인 장면 생성을 위한 모듈식 프레임워크로, 스탠포드 대학교와 구글이 공동으로 개발한 획기적인 프로젝트입니다.

Wonder Journey 웹사이트 체험 진입점:https://kovenyu.com/wonderjourney

이전의 단일 유형 장면에 초점을 맞춘 뷰 생성 작업과 달리, 우리는 사용자가 제공하는 임의의 위치(텍스트 설명 또는 이미지를 통해)에서 시작하여, 길고 다양하지만 서로连贯하게 연결된 3D 장면의 여정을 생성합니다. 우리는 이 여정에서 장면의 텍스트 설명을 생성하기 위해 LLM을 활용하고, 매력적이고连贯적인 3D 장면을 제작하기 위한 텍스트 기반 포인트 클라우드 생성 파이프라인, 각 장면이 다양성으로 가득 차고 밀접하게 연결되도록 하는 방식, 그리고 생성된 장면을 검증하기 위한 대규모 VLM을 사용합니다. 우리는 다양한 장면 유형과 스타일에서 상상 속의 "경이로운 여정"을 구성하는 매력적이고 다양한 시각적 효과를 보여줍니다.

Wonder Journey의 독특한 점은 이미지든 텍스트 설명이든, 어떤 위치에서든 유연하게 시작할 수 있다는 것입니다. 이는 카메라 궤적을 따라 다양한 그러나 서로 연관된 풍경을 보여주는 일련의 3D 장면인 "경이로운 여정"을 시작합니다.

임의의 위치(텍스트 또는 이미지로 지정됨)에서 시작하여, Wonder Journey는 카메라 궤적을 따라 다양하지만连贯하게 연결된 3D 장면의 시리즈(즉, "경이로운 여정")를 생성합니다. 우리는 "경이로운 여정"을 렌더링하기 위해 왕복하는 카메라 궤적을 사용합니다.

Wonder Journey는 장문의 "wonder journeys"를 합성할 수 있습니다. 비디오 위에 마우스를 올리면 자동 슬라이딩이 일시 중지됩니다.

동일한 위치에서 시작하여, Wonder Journey는 다양한 목적지에서 끝나는 일련의 다양한 "경이로운 여정"을 생성할 수 있습니다. 아래의 각 비디오를 렌더링하기 위해 카메라 자세의 궤적을 사용합니다. 비디오 위에 마우스를 올리면 자동 슬라이딩이 일시 중지됩니다.

Wonder Journey는 또한 일련의 텍스트 설명(예: 시, 하이쿠, 이야기 요약 등)이 주어지면 제어된 wonder journeys를 생성할 수 있습니다. 비디오 위에 마우스를 올리면 자동 슬라이딩이 일시 중지됩니다.이 기능을 통해 사용자는 여정의 주제적 방향과 진행에 영향을 줄 수 있으며, 이는 단순한 탐색 도구일 뿐만 아니라 이야기 전달과 예술적 표현의 도구가 되도록 합니다.