Marble:李飛飛World Labs推出的多模態3D世界モデル
Marble:李飛飛World Labs推出的多模態3D世界モデル紹介
Marbleは李飛飛(Fei-Fei Li)氏のWorld Labsが発表した、クリエイター向けのマルチモーダルな3Dワールドモデルです。テキスト、1枚または複数の画像、短い動画、あるいはシンプルな3Dレイアウトを入力として、探索・編集・ダウンロード可能な3D環境を生成でき、カメラの制御やインタラクティブな編集もピクセル単位で行えます。主な用途はゲーム開発、映像特殊効果、バーチャルリアリティなどで、特徴として生成された3Dワールドが一貫した見た目を維持し、崩れない点が挙げられます。

Marbleの主な機能
マルチモーダル3D生成:テキスト、1枚の画像、さまざまな角度の写真、ショート動画などを入力として使用できます。例えば「ホビットの台所」と入力すると、木製家具や銅の器具を備えた完全な3Dシーンが生成されます。一般的な部屋の写真1枚を送信すると、約6分で360度パノラマの3D環境が作成されます。複数の画像や動画を使用することで、デジタルツインのシーンのリアリティが向上します。また、ユーザーがまず簡単なジオメトリで3Dフレームワークを構築すれば、aiが自動的に光や影、テクスチャなどのディテールを追加します。
柔軟な編集と拡張:これはAI編集ツールを内蔵した初のモデルです。シーンの一部のみを変更したり、構造を調整したりすることができ、例えば1つの命令でシーン内のゴミ箱を削除でき、光と影もそれに合わせて変化します。搭載のエディタChiselを使用すると、まずジオメトリを配置して空間構造を決め、次にテキストでスタイルを決定します。同じ構造でもプロンプトを変えれば、異なるスタイルのシーンに変換できます。また、シーンの端にディテールを追加したり、「コンポジタモード」を使用して複数の独立したシーンを継ぎ目なく組み合わせたりすることも可能です。
多様なフォーマットでのエクスポート対応:結果はガウシアン・スプラッティングや三角メッシュなどのフォーマットでエクスポートできます。三角メッシュは低精度のコリジョンメッシュと高精度のレンダリングメッシュに分かれており、UnityやUnreal Engineなどのプロフェッショナルなソフトウェアに直接取り込めます。また、動画としてのエクスポートも可能で、AIを使って煙や水流などの動的効果を追加することもできます。Apple Vision ProやMeta Quest 3などのVRヘッドセットもサポートしており、そのままVR体験の作成に利用できます。
Chisel実験的3Dエディタ:まず基本的なジオメトリで空間の「骨組み」を構築し、次にテキストで全体の「スタイル」を決定することで、構造とスタイルを分離して作業・再利用することができます。
ワールド拡張と合成:選択した部分に対しワンクリックでディテールを追加したり、コンポジタモードを使用して複数の独立したワールドをより大きな空間に合成したりすることができます。
Marbleの典型的なワークフロー
まず入力方法を選択します:テキストや1枚の画像を使えば素早くコンセプトを生成でき、複数の画像や動画を使えばより正確で制御しやすくなります。複雑なシーンには複数の画像や動画の使用が最適です。
ワールド生成:ウォークスルー可能な3D環境が得られたら、まず2Dまたは3Dビューでパース、大きさ、スタイルが一貫しているかを確認します。
精密編集:AIツールを使用して部分的に修正したり、不足部分を補完したり、あるいはChiselを使って構造を再構築してからスタイルを変更することで、構造と見た目を個別に調整できます。
スケールの拡張:端や弱い部分にディテールを追加したり、コンポジタモードで複数の小さなワールドを組み合わせて大きな空間を作り、階層感を増やします。
エクスポートと活用:高精細な展示にはガウシアン・スプラッティング、ゲームや映像エンジン用の素材にはメッシュ、プロモーション映像やテストショットには動画レンダリングにエフェクトを追加、Web共有にはTHREE.js対応のオープンソースSparkレンダラーが使用できます。
Marbleのサブスクリプション価格
4つのプランがあります。無料版は月額7,000ポイント、最大4ワールド作成可能、テキストや画像などの基本的な入力のみ利用可能。スタンダード版は月額20ドルで20,000ポイント、12ワールド作成可能、複数画像や動画入力が利用可能。プロ版は月額35ドル(初月1ドル)で40,000ポイント、25ワールド作成可能、商用利用可能。フラッグシップ版は月額95ドルで120,000ポイント、75ワールド作成可能、すべての機能が利用可能です。
Marbleの適用シーン
ゲーム開発:ウォークスルー可能なレベルプロトタイプや雰囲気のある空間を迅速に作成でき、素材は一般的なエンジンに取り込めます。
映像・視覚効果:テストショットや背景環境向けに、制御しやすい3D素材と正確なカメラパスを提供します。
バーチャルリアリティ/没入型展示:ウォークスルー可能な没入体験やインタラクティブな展示を作成できます。
ロボットシミュレーション:多様なシミュレーション訓練環境を作成し、データ収集の難しさを軽減します。
Marbleの優位性と制限
優位性:従来のモデリングと比較して圧倒的に高速で、シンプルなシーンなら数分で完成します。ハリウッドのチームでは、映画のプレビズ時間を3か月から2日に短縮した事例があります。部屋のような小規模な静的シーンでは、構造とスタイルが比較的安定しており、テクスチャも十分に使用できます。エクスポート形式は主要な開発ツールやVRデバイスに対応しており、制作から活用までをシームレスにつなげられます。
制限:部屋より大きいシーンの場合、远处的オブジェクトがぼやけたり、変形したりしがちです。複数画像の合成では処理が詰まる場合があり、複雑なシーンでは成功率をさらに向上する必要があります。現時点では静止したシーンのみ作成可能で、動くものや物理効果には対応しておらず、一部の複雑な要件に対しては再現精度が不十分な点もあります。
Marbleはプロンプト作成のハードルを下げ、一般的ユーザーでも数分でウォークスルー・編集・ダウンロード可能な3Dワールドを入手できます。これは現在、公開されている唯一の「生成的空間知能」プロダクションツールです。
関連情報:
脚本プランナー▸
AIアプリ
AIニュース