Tencent HunyuanDiT:Tencentが発表したテキストから画像生成モデル 246

小编 ·

Tencent HunyuanDiT:Tencentが発表したテキストから画像生成モデル

HunyuanDiTは、Tencentが新たにオープンソース化したテキストから画像生成のAIモデルです。SoraやStable Diffusion 3と同じDiT(Diffusion With Transformer)アーキテクチャを採用しており、中国語と英語の両方に対応。双言語の入力と理解をサポートし、语境や文の構造の複雑さなど、言語の微妙なニュアンスまで捉えます。さらに、マルチターンの対話によるやり取りが可能で、ユーザーが段階的に画像の内容を洗練・調整できるほか、さまざまな解像度の画像生成にも対応しています。

Tencent HunyuanDiT:Tencentが発表したテキストから画像生成モデル

混元DiTはテンセントが最新オープンソース化したテキストから画像を生成するaiモデルであり、SoraやStable Diffusion 3と同じDiT(Diffusion With Transformer)アーキテクチャを採用し、中国語と英語の二言語入力および理解をサポートしています。中国語と英語を理解できるだけでなく、文脈や文構造の複雑さなど、言語の微妙なニュアンスも捉えることができます。また、マルチターンの対話を通じてモデルとやり取りし、画像内容を段階的に洗練・調整することも可能です。混元DiTは異なる解像度の画像生成をサポートしています。

腾讯混元DiT - dit.hunyuan.tencent.com.jpg

混元DiTは中国語ネイティブのDiTテキスト画像生成アーキテクチャの空白を埋め、より多くの開発者やクリエイターが参加し、DiTアーキテクチャに基づくビジュアル生成を共に探索・共創することを可能にしました。さらに、混元DiTは中国語ネイティブの初のDiTアーキテクチャとも記述されており、中国語と英語の二言語入力および理解をサポートし、パラメータ数は15億に達しています。

混元DiTの機能と最適化:

  • 中英二言語テキスト生成のサポート:混元DiTは中英二言語テキスト処理を特別に設計されており、詳細なテキストプロンプトに基づいて高解像度かつ高品質な画像を生成できます。

  • 長文理解能力:アルゴリズムレベルにおいて、混元DiTはモデルの長文理解能力を最適化し、最大256文字のコンテンツ入力をサポートしています。同時に、マルチターン画像生成と対話機能を実現し、より満足度の高い効果を得ることができます。

  • マルチモーダルビジュアル生成:混元DiTはテキストから画像生成だけでなく、ビデオなどのマルチモーダルビジュアル生成の基盤としても使用でき、強力なビジュアル生成能力を備えています。

  • ネットワークアーキテクチャの革新:革新的なネットワークアーキテクチャを採用し、二言語CLIPと多言語T5エンコーダーを組み合わせ、精巧に設計されたデータパイプラインによる訓練と最適化を行い、マルチターン対話をサポートし、文脈に応じて画像を生成・改善できます。

  • オープンソースと商用利用:混元DiTは完全にオープンソース化されており、無料で商用利用も可能で、ユーザーにより高い柔軟性と多様な使用シーンを提供します。

  • 技術の融合:混元DiTは拡散モデルとTransformerアーキテクチャの利点を融合し、強力なビジュアル生成能力を提供します。このアーキテクチャはテキストから画像生成だけでなく、ビデオやその他のマルチモーダルビジュアルコンテンツにも使用できます。

混元DiTの応用分野:

  • テキストからの画像生成:混元DiTモデルは中英二言語テキスト処理を特別に設計されており、詳細なテキストプロンプトに基づいて高解像度かつ高品質な画像を生成できます。

  • ビデオや3Dコンテンツ生成:混元DiTはテキストから画像生成だけでなく、ビデオなどのマルチモーダルビジュアル生成の基盤としても活用できます。

  • 社内業務への導入:180を超えるテンセント社内業務がテンセント混元に導入されており、テンセントミーティング、テンセントドキュメント、企業微信、テンセント広告、微信検索などが含まれています。

  • 中国語ネイティブサポート:混元DiTは業界でいち早く大規模言語モデルとDiT構造を組み合わせたテキスト画像生成モデルを探求・応用した一つであり、中国語と英語の二言語入力および理解をサポートし、パラメータ数は15億です。

  • マルチターン対話と画像の改善:混元DiTはユーザーとマルチターン対話を行い、文脈に応じて画像を生成・改善することができます。

テンセント混元DiTプロジェクトアドレス:https://github.com/Tencent/HunyuanDiT

テンセント混元DiTプロジェクト公式サイト:https://dit.hunyuan.tencent.com/