Wonder Journey：テキストや画像から連続する3Dシーンを生成 89

Wonder Journeyは、1枚の画像またはテキスト説明だけで3Dシーンアニメーションを作成できます。これは永続的なシーン生成のためのモジュール型フレームワークであり、スタンフォード大学とGoogleが共同で手掛けた画期的なプロジェクトです。

Wonder Journeyのウェブサイト体験入口：https://kovenyu.com/wonderjourney

従来の単一タイプのビュー生成に特化した研究とは異なり、Wonder Journeyはユーザーから提供された任意の位置（テキスト説明または画像）から始まり、一連の異なるがつながりのある3Dシーンによって旅を生成します。LLMを活用してこの旅の中でのシーンのテキスト説明を生成し、テキスト駆動のポイントクラウド生成パイプラインで魅力的で一貫性のある3Dシーンを作成し、生成されたシーンを検証するために大型VLMを使用します。さまざまなシーンタイプやスタイルで、想像上の「ワンダージャーニー」とも言える多様で印象的なビジュアルを実現します。

Wonder Journeyのユニークな点は、画像でもテキスト説明でも、任意の位置から柔軟に開始できることです。これにより「ワンダージャーニー」が始まります — カメラ軌道に沿った一連の3Dシーンは、多様でありながら相互に関連した景観を描き出します。

任意の位置（テキストまたは画像で指定）から始まり、Wonder Journeyはカメラ軌道に沿った多様で一貫性のある3Dシーンのシリーズ（すなわち「ワンダージャーニー」）を生成します。「ワンダージャーニー」のレンダリングには往復のカメラ軌道を使用しています。

Wonder Journeyは長編の「ワンダージャーニー」を合成することができます。動画の上にマウスを置くと自動スライドを一時停止できます。

同じ位置から始めても、Wonder Journeyは異なる目的地で終わるさまざまな「ワンダージャーニー」を生成できます。下記の各動画のレンダリングにはカメラ姿勢の軌道を使用しています。動画の上にマウスを置くと自動スライドを一時停止できます。

Wonder Journeyはまた、詩や俳句、物語の要約など一連のテキスト説明に基づいて、コントロールされたワンダージャーニーを生成することもできます。動画の上にマウスを置くと自動スライドを一時停止できます。この機能により、ユーザーは旅のテーマの方向性や進行に影響を与えることができ、単なる探索のツールとしてだけでなく、ストーリーテリングや芸術表現のツールとしても活用できます。