CreatiDesign：クリエイティブグラフィックデザインのための統合マルチ条件拡散Transformer 87

小编 · 2025-06-12

CreatiDesignは、復旦大学とByteDanceのチームが共同開発した高精度・マルチモーダル・編集可能なグラフィックデザイン生成モデルです。メインビジュアル要素、補助装飾、テキストコンテンツなど複数の要素を高精度で処理しながら生成でき、従来のマルチ条件入力における課題を解決します。精密な分離と独立した制御により、デザインをより制御しやすく一貫性のあるものにします。

CreatiDesign：クリエイティブグラフィックデザインのための統合マルチ条件拡散Transformer

CreatiDesignは、復旦大学とバイトダンスチームが共同で開発した、高精度・マルチモーダル・編集可能なグラフィックデザイン生成モデルです。メインのビジュアル要素、補助的な装飾、テキストコンテンツなど複数の要素を高精度に処理し、従来のマルチ条件入力における課題を解決できます。精巧な分離と独立した制御により、CreatiDesignはデザインをより制御可能で一貫性のあるものにします。

このモデルは革新的なマルチモーダルアテンション機構を採用し、データの自動合成も可能で、複数の評価基準において既存の最先端モデルを上回っています。デザインの効率を向上させるだけでなく、ユーザーが既存のデザインをベースに新しい要素を追加したりテキストを調整したりといった柔軟な編集を行うことも可能にし、全体的なデザインの調和と完全性を維持します。

CreatiDesignモデル：クリエイティブグラフィックデザインのための統一されたマルチ条件拡散変換器.webp

モデルアーキテクチャ

CreatiDesignはMM-DiT（マルチモーダル拡散変換器）フレームワークを採用しており、簡素化されたアーキテクチャによって複数の異なる条件の協調制御を実現しています。主な特徴は以下の通りです。

マルチ主体画像条件：ユーザーは複数のメインのビジュアル要素（製品画像、ロゴなど）を入力し、自由に配置することができます。これらの要素はエンコーダーで処理され、メインのビジュアルトークンが生成され、その後の生成に使用されます。
セマンティックレイアウト条件：補助要素やテキストの意味記述はT5テキストエンコーダーによってセマンティック特徴トークンに変換され、空間位置情報はフーリエ変換された後にセマンティック特徴と連結され、レイアウトトークンが形成されます。
グローバル記述：ユーザーはさらに全体の記述を入力することもでき、T5によってグローバル記述トークンにエンコードされ、全体の内容とスタイルを指示するために使用されます。
マルチモーダルアテンション機構：各層のTransformerにおいて、マルチモーダルアテンション（MM-Attention）機構を採用し、異なるモーダルのトークンを深く融合させ、マルチ条件の共同モデリングと制御を実現します。

独立した制御性

CreatiDesignは、各条件の独立した制御性を強化する2つの専用アテンションマスク機構を提案しています。

主体アテンションマスク（Subject Attention Mask）：主体トークンは指定された領域内の画像トークンとのみ相互作用し、レイアウトトークン、グローバル記述トークン、および無関係な領域の画像トークンからは完全に分離されており、主体コンテンツの高精度な再現を保証します。
レイアウトアテンションマスク（Layout Attention Mask）：各レイアウトトークンは指定された領域内の画像トークンとのみ相互作用し、レイアウト要素間の意味的な干渉を防ぎます。

データセット

CreatiDesignは、実際のデザインニーズを満たす40万サンプルを含む大規模なマルチ条件アノテーションデータセットを構築しています。さらに、テーマ生成、テキストレイヤー rendering（レンダリング）、前景ベースの画像生成を含む、完全自動のグラフィックデザインのデータ合成パイプラインを提案しています。

応用シナリオ

CreatiDesignは、映画ポスター、プロモーション、プロダクト広告、SNS画像など、さまざまなグラフィックデザインを生成できます。また、マルチターン編集をサポートしており、ユーザーは既存のデザイン結果に対して新しいテキストや主体を柔軟に挿入したり、テキストコンテンツを変更したりすることができます。モデルは指定された領域を正確に編集し、編集されていない領域の内容をそのまま維持します。

優位性

従来の制御可能な拡散モデルと比較して、CreatiDesignは、マルチ条件の異種情報の統一モデリング、マルチ条件の精巧な分離と領域の独立制御、大規模で高品質なデータのサポートなどの点で優れた性能を発揮します。従来のモデルがグラフィックデザインを処理する際に存在していた「部分的に偏る」問題や、正確な制御性の欠如を解決します。