Tencent Hunyuan3D:テキストと画像の両方に対応する初のオープンソース3Dモデル

Tencent Hunyuan3D:テキストと画像の両方に対応する初のオープンソース3Dモデル 112

正式名称はHunyuan3D-1.0。Tencentが発表した、テキストと画像の両方からの3D生成に対応するオープンソースモデルで、既存の3D生成モデルにおける生成速度と汎化能力の課題を解決します。

#行业圈子 #3D网站

Tencent Hunyuan3D:テキストと画像の両方に対応する初のオープンソース3Dモデル紹介

テンセント混元3D、正式名称はHunyuan3D-1.0で、テンセントが発表したテキスト生成と画像生成の両方をサポートする3Dオープンソースモデルであり、既存の3D生成モデルにおける生成速度と汎化能力の不足を解決します。

腾讯混元3D,Hunyuan3D.webp

テンセント混元3D生成モデルはDiffusion技術に基づいており、テキストと画像からの3Dアセット生成をサポートします。このモデルには、精心に設計されたテキストおよび画像エンコーダー、拡散モデル、3Dデコーダーが搭載されており、マルチビュー生成、再構成、シングルビュー生成を実現できます。テンセント混元3D大規模モデルは精美な3Dオブジェクトを迅速に生成でき、さまざまな下流アプリケーションに適しています。

テンセント混元3Dの技術的特徴と革新:

高速生成:軽量版モデルは高品質な3Dアセットを10秒以内に生成でき、高速な単一画像からの3D生成をサポートし、meshやtextureの抽出を含むエンドツーエンド生成を10秒以内に完了します。

二段階生成方法:Hunyuan3D-1.0は、マルチビュー生成とマルチビュー再構成の二段階プロセスを採用しています。まず、マルチビュー拡散モデルによって6つの異なる視点の新画像を合成し、次にTransformerベースのスパースビュー大規模再構成モデルでこれらの画像を処理し、最終的に3Dアセットを生成します。

適応型CFG技術:マルチビュー生成段階では、異なる視点とタイムステップにおけるclassifier-free guidance(CFG)スケール値を調整することで、生成される画像が入力に近く、かつ多様性を備えることを保証します。

包括的なオープンソース:モデルの重み、推論コード、アルゴリズムなどがすべて公開されており、軽量版と標準版が提供されています。軽量版はA100 GPU上で約10秒で3Dアセットを生成でき、3Dコンテンツ制作のハードルを大幅に下げます。

強力な汎化能力:汎化能力と制御性が強く、建築物のような大きなオブジェクトから、ツールや草花のような小さなオブジェクトまで、さまざまなスケールのオブジェクトを再構成でき、多様な創作ニーズに対応します。

腾讯混元3D性能与应用.gif

テンセント混元3Dのパフォーマンスと応用:

  • SOTA超え:定性的および定量的な評価において、Hunyuan3D-1.0は他のオープンソースモデルを上回るパフォーマンスを示しており、特に生成速度と汎化能力の面で優れています。

  • 広範な応用:Hunyuan3D技術はテンセントの複数の業務シナリオに既に適用されており、例えばテンセント地図の3D車標再構成速度が91%向上しました。また、テンセント地図は混元3D大規模モデルに基づき、カスタマイズ可能な3Dナビゲーション車標機能を発表し、ユーザーは個性的で3Dナビゲーション車標を作成できます。従来のソリューションと比較して速度が91%向上し、「3Dキャラクター夢工場」機能を上线し、パーソナライズされた3D人物生成をサポートし、ユーザーにさらなる創作の自由を提供します。

  • 業界への影響:Hunyuan3D-1.0のオープンソースは、ゲーム開発、映像制作、バーチャルリアリティなどの分野に強力なツールを提供し、aiによる3Dコンテンツ生成の革新と応用を促進しています。

テンセント混元3Dの応用シナリオ:

  • ゲーム開発:ゲームキャラクター、小道具、建築などの高品質な3Dアセットを生成し、ゲーム開発効率を大幅に向上

  • 映像アニメーション:制作者向けに3D映像キャラクターや動作効果を自動生成し、アニメーション制作を支援

  • Eコマース広告:広告クリエイティブのテーマに応じて3D商品を生成し、インタラクティブエフェクトを実現し、広告コンテンツの創造性を向上

  • バーチャルリアリティ(VR)/拡張現実(AR):リアルな3D仮想環境要素やインタラクティブコンテンツを生成し、没入感のある体験を向上

テンセント混元3D生成大規模モデル「Hunyuan3D-1.0」は11月5日に正式にオープンソース化されました。このモデルは業界初のテキストと画像の両方から3D生成をサポートするオープンソース大規模モデルであり、軽量版と標準版の2つの選択肢を提供します。軽量版はわずか10秒で高品質な3Dアセットを生成でき、企業や開発者のファインチューニングやデプロイのニーズに適しています。Hunyuan3Dは3Dアセットの生成効率を大幅に向上させ、開発者にさらなる創作の機会を提供します。

Githubプロジェクト:https://github.com/Tencent/Hunyuan3D-1

Hugging Face:https://huggingface.co/tencent/Hunyuan3D-1

関連情報:

テンセント混元DiT:テンセントが発表したテキストから画像への生成モデル

Tencent Hunyuan3D:テキストと画像の両方に対応する初のオープンソース3Dモデル に関連するツール