CreatiDesign : un Transformer de diffusion multi-conditions unifié pour le design graphique créatif 89

小编 · 2025-06-12

CreatiDesign est un modèle de génération de design graphique haute précision, multimodal et éditable, développé conjointement par l'Université de Fudan et ByteDance. Il génère des designs graphiques avec une grande précision tout en gérant plusieurs éléments — visuels principaux, décorations auxiliaires et contenu textuel — résolvant les limites des méthodes traditionnelles face aux entrées multi-conditions. Grâce à un découplage fin et un contrôle indépendant, CreatiDesign rend le design plus contrôlable et cohérent.

CreatiDesign : un Transformer de diffusion multi-conditions unifié pour le design graphique créatif

CreatiDesign est un modèle de génération de design graphique haute précision, multimodal et éditable, développé en collaboration par l'Université Fudan et l'équipe de ByteDance. Il est capable de générer des designs graphiques avec une grande précision tout en traitant plusieurs éléments, notamment les éléments visuels principaux, les décorations auxiliaires et le contenu textuel, résolvant ainsi les insuffisances des méthodes traditionnelles lors d'entrées multi-conditions. Grâce à un découplage fin et un contrôle indépendant, CreatiDesign rend le design plus contrôlable et plus cohérent.

Ce modèle adopte un mécanisme d'attention multimodal innovant et est également capable de synthétiser automatiquement des données, surpassant ainsi les niveaux de pointe existants sur plusieurs critères d'évaluation. Il améliore non seulement l'efficacité de la conception, mais permet également aux utilisateurs de modifier de manière flexible des designs existants, comme l'ajout de nouveaux éléments ou l'ajustement du texte, tout en préservant la cohérence et l'intégrité du design global.

Modèle CreatiDesign : un transformateur de diffusion à conditions multiples unifié pour le design graphique créatif.webp

Architecture du modèle

CreatiDesign adopte le framework MM-DiT (Multi-modal Diffusion Transformer), qui permet un contrôle coopératif de diverses conditions grâce à une architecture simplifiée. Les principales caractéristiques sont les suivantes :

Conditionnement par images multi-sujets : les utilisateurs peuvent saisir plusieurs éléments visuels principaux (tels que des images de produits, des logos, etc.) et les disposer librement. Ces éléments sont traités par un encodeur pour générer des tokens visuels principaux, utilisés pour la génération ultérieure.
Conditionnement par mise en page sémantique : les descriptions sémantiques des éléments auxiliaires ou du texte sont converties en tokens de caractéristiques sémantiques via l'encodeur de texte T5, et les informations de position spatiale sont concaténées aux caractéristiques sémantiques après une transformation de Fourier pour former des tokens de mise en page.
Description globale : les utilisateurs peuvent également saisir une description globale, qui est encodée par T5 en un token de description globale, utilisé pour guider le contenu et le style d'ensemble.
Mécanisme d'attention multimodal : à chaque couche du Transformer, un mécanisme d'attention multimodale (MM-Attention) est utilisé pour permettre une fusion profonde des tokens de différentes modalités, réalisant ainsi une modélisation et un contrôle conjoints multi-conditions.

Contrôlabilité indépendante

CreatiDesign propose deux mécanismes de masques d'attention exclusifs qui renforcent la contrôlabilité indépendante de chaque condition :

Masque d'attention du sujet (Subject Attention Mask) : les tokens du sujet n'interagissent qu'avec les tokens d'image de la zone spécifiée, et sont totalement isolés des tokens de mise en page, des tokens de description globale et des tokens d'image des zones non concernées, garantissant une reproduction très fidèle du contenu principal.
Masque d'attention de mise en page (Layout Attention Mask) : chaque token de mise en page n'interagit qu'avec les tokens d'image de la zone spécifiée, empêchant toute interférence sémantique entre les éléments de mise en page.

Jeu de données

CreatiDesign a construit un jeu de données annoté multi-conditions à grande échelle contenant 400 000 échantillons, répondant aux besoins réels de conception. De plus, un pipeline entièrement automatisé de synthèse de données de design graphique a été proposé, comprenant la génération de sujets, le rendu de couches de texte et la génération d'images basée sur le premier plan.

Scénarios d'application

CreatiDesign peut générer divers designs graphiques, tels que des affiches de films, des promotions de marques, des publicités de produits et des images pour les réseaux sociaux. Il prend également en charge l'édition multi-tours : les utilisateurs peuvent insérer de manière flexible du nouveau texte ou de nouveaux sujets dans un design existant, ou modifier le contenu textuel. Le modèle peut éditer avec précision la zone spécifiée tout en préservant le contenu des zones non éditées.

Avantages

Par rapport aux modèles de diffusion contrôlables précédents, CreatiDesign excelle dans la modélisation unifiée d'informations hétérogènes multi-conditions, le découplage fin multi-conditions et le contrôle indépendant par zone, ainsi que dans le support de données à grande échelle et de haute qualité. Il résout les problèmes de « partialité » ou de manque de contrôlabilité précise que rencontraient les modèles précédents lors du traitement de designs graphiques.