InstantMesh：画像から高品質な3Dメッシュを生成 91

InstantMeshは、単一の画像に基づき、高度なスパースビュー大規模再構築モデル（LRM）アーキテクチャを利用して、高速に3Dメッシュを生成するツールです。このフレームワークにより、ユーザーは2D画像を3Dモデルに変換でき、自動化処理によって3Dコンテンツ作成プロセスが簡素化されるため、ゲームデザイン、アニメーション、建築可視化などの分野で非常に有用です。

InstantMeshのアーキテクチャはInstant3Dに類似しており、多視点拡散モデルGMとスパースビュー大規模再構築モデルGRで構成されています。入力画像が与えられると、多視点拡散モデルGMが3D一貫性のある多視点画像を生成し、それをスパースビュー大規模再構築モデルGRに入力することで、高品質な3Dメッシュを再構築します。

InstantMeshオンライン体験アドレス：https://huggingface.co/spaces/TencentARC/InstantMesh

InstantMeshの主な特徴：

• 効率的な3Dメッシュ生成：InstantMeshは、単一の画像から前例のないスピードと品質で3Dメッシュを生成でき、通常は10秒以内に完了します。これは、市販の多視点拡散モデルとスパースビュー再構築モデルを統合することで実現され、多様な3Dモデルを迅速に作成できます。

• 自動リトポロジー：InstantMeshは複雑なメッシュを自動的にリトポロジーし、3Dモデル作成プロセスを簡素化する貴重なツールとなります。点群、レンジスキャン、三角形メッシュなど、さまざまな入力サーフェス表現を処理でき、数万〜数十万の面を持つメッシュでも、即座に完全なパイプラインを実行できます。

• 高品質：公共データセットでの実験結果によると、InstantMeshは定性的にも定量的にも、他の最新の画像から3Dへのベースラインモデルを大幅に上回っています。

• 学習のスケーラビリティ：LRMアーキテクチャに基づき、優れた学習スケーラビリティを備え、大規模データセットを処理できます。

• 微分可能な等値面抽出モジュールの統合：メッシュ表現に直接幾何学的監督を適用することで、学習効率とメッシュ生成品質を向上させます。

実装と互換性

• Modoとの統合：バージョン10.2以降、Modoは自動リトポロジー機能を実現するためにInstant Meshesアルゴリズムを統合しており、专业的なソフトウェアにおけるInstantMeshの実用的な応用を示しています。

• オープンソースソフトウェア：InstantMeshはGitHub上でオープンソースソフトウェアとして提供されており、Windows、Mac、Linux 5など、さまざまなプラットフォームの幅広いユーザーが利用できます。

• 技術要件：InstantMeshの使用に興味がある方への推奨技術仕様には、Python>=3.10、PyTorch>=2.1.0、CUDA=12.1の使用、および具体的なインストールとモデルウェイトの要件が含まれます。

InstantMeshの登場は、3Dモデリングと可視化の分野が新たな変革を迎えることを予示しており、単一の画像からの自動リトポロジーおよび3Dメッシュ生成に強力で効率的なソリューションを提供します。3Dデータの不足に対処し、3D生成において画像や動画生成の成功を再現することを目指しています。多視点拡散モデルとLRMアーキテクチャに基づくスパースビュー再構築モデルの利点を組み合わせることで、生成品質を維持しながら、学習効率とスケーラビリティを大幅に向上させます。