Zero123：1枚の高品質な3D画像生成 132

本日、我々は安定版 Zero123 をリリースしました。これは社内トレーニング済みのビュー条件付き画像生成モデルです。従来の最先端モデルである Zero123-XL と比較して、安定版 Zero123 は大幅な品質向上を実現しています。これは主に 3 つの重要な技術革新によって達成されました。

1. 改良されたトレーニングデータセット:Objaverse から高品質な 3D オブジェクトを大量にフィルタリングし、従来の手法よりもリアルなレンダリングを可能にしました。

2. トレーニング時および推論時に推定カメラ角度をモデルに提供しました。この仰角条件付けにより、より正確で高品質な予測を行うことが可能になりました。

3. 事前計算されたデータセット(事前計算された潜在変数)と改良されたデータローダーにより、より大きなバッチサイズをサポートできるようになり、前述の 1 つ目の革新と相まって、Zero123-XL と比較してトレーニング効率が 40 倍向上しました。

Zero123 の特徴：

安定版 Zero123 は、改良されたトレーニングデータセットと仰角条件付けにより、物体の外観を 3D 的視点から捉えた新しい視点の画像を生成できます。Zero1-to-3 や Zero123-XL と比較して、生成品質が大幅に向上しています。

このモデルは Stable Diffusion 1.5 をベースにしており、1 つの新しい視点を生成する際の VRAM 消費量は SD1.5 と同じです。Stable Zero123 を使用して 3D オブジェクトを生成するには、より多くの時間とメモリが必要となります(24GB の VRAM が推奨されます)。

3D オブジェクト生成に関するオープンリサーチを促進するため、Threestudio のオープンソースコードを改良し、Zero123 と Stable Zero123 をサポートしました。Stable 3D パイプラインの簡易版は現在プライベートプレビュー段階です。技術的には、スコア蒸留サンプリング(SDS)を用いて Stable Zero123 モデルで NeRF を最適化し、その後テクスチャ付きの 3D メッシュを生成します。このパイプラインはテキストから 3D を生成する用途にも適用可能で、まず SDXL で単一画像を生成し、次に Stable Zero123 で 3D オブジェクトを生成するという流れが可能です。

Zero123 プロジェクト：https://github.com/cvlab-columbia/zero123

Zero123 デモ：https://huggingface.co/spaces/cvlab/zero123-live

Zero123 論文：https://arxiv.org/abs/2303.11328

このモデルは現在 Hugging Face で公開されており、研究者や非商用ユーザーがダウンロードして実験することができます。