CreatiDesign: Ein einheitlicher Multi-Bedingungs-Diffusion-Transformer für kreatives Grafikdesign 91

小编 · 2025-06-12

CreatiDesign ist ein hochpräzises, multimodales und editierbares Grafikdesign-Generierungsmodell, das gemeinsam von der Universität Fudan und ByteDance entwickelt wurde. Es generiert Grafikdesigns mit hoher Präzision und verarbeitet gleichzeitig mehrere Elemente – Hauptvisuals, Hilfsverzierungen und Textinhalte – und überwindet die Schwächen herkömmlicher Methoden bei Multi-Bedingungs-Eingaben. Durch feinkörnige Entkopplung und unabhängige Steuerung ermöglicht CreatiDesign ein kontrollierbareres und konsistenteres Design.

CreatiDesign: Ein einheitlicher Multi-Bedingungs-Diffusion-Transformer für kreatives Grafikdesign

CreatiDesign ist ein hochpräzises, multimodales und bearbeitbares Grafikdesign-Generierungsmodell, das in Zusammenarbeit zwischen der Fudan-Universität und dem Team von ByteDance entwickelt wurde. Es kann Grafikdesigns mit hoher Präzision erzeugen und dabei mehrere Elemente verarbeiten, darunter Hauptvisuale, dekorative Hilfselemente und Textinhalte, und überwindet so die Schwächen herkömmlicher Methoden bei der Verarbeitung mehrerer Bedingungen. Durch eine feine Entkopplung und unabhängige Steuerung macht CreatiDesign Designs kontrollierbarer und konsistenter.

Dieses Modell nutzt einen innovativen multimodalen Aufmerksamkeitsmechanismus und kann Daten automatisch synthetisieren, wodurch es in mehreren Bewertungskriterien den bestehenden Spitzenstandard übertrifft. Es steigert nicht nur die Designeffizienz, sondern ermöglicht es den Nutzern auch, bestehende Designs flexibel zu ändern, etwa neue Elemente hinzuzufügen oder Text anzupassen, wobei die Gesamtharmonie und Vollständigkeit des Designs erhalten bleibt.

CreatiDesign-Modell: Ein einheitlicher Multi-Bedingungs-Diffusion-Transformer für kreatives Grafikdesign.webp

Modellarchitektur

CreatiDesign verwendet das MM-DiT-Framework (Multimodaler Diffusion-Transformer) und ermöglicht durch eine vereinfachte Architektur die koordinierte Steuerung mehrerer unterschiedlicher Bedingungen. Die Hauptmerkmale sind:

Bildbedingungen für mehrere Subjekte: Nutzer können mehrere Hauptvisual-Elemente (z. B. Produktbilder, Logos usw.) eingeben und frei anordnen. Diese Elemente werden durch einen Encoder verarbeitet, um Hauptvisual-Token für die anschließende Generierung zu erzeugen.
Semantische Layout-Bedingungen: Semantische Beschreibungen von Hilfselementen oder Text werden durch den T5-Textencoder in Token für semantische Merkmale umgewandelt. Die räumlichen Positionsinformationen werden durch eine Fourier-Transformation mit den semantischen Merkmalen zusammengefügt, um Layout-Token zu bilden.
Globale Beschreibung: Nutzer können zusätzlich eine Gesamtbeschreibung eingeben, die von T5 in ein Token für die globale Beschreibung kodiert wird, um den Gesamtinhalt und -stil zu steuern.
Multimodaler Aufmerksamkeitsmechanismus: In jeder Transformer-Schicht wird ein multimodaler Aufmerksamkeitsmechanismus (MM-Attention) verwendet, der eine tiefe Verschmelzung der Token verschiedener Modalitäten ermöglicht und so eine gemeinsame Modellierung und Steuerung mehrerer Bedingungen realisiert.

Unabhängige Kontrollierbarkeit

CreatiDesign führt zwei spezielle Aufmerksamkeitsmaskenmechanismen ein, die die unabhängige Kontrollierbarkeit jeder Bedingung verbessern:

Subject Attention Mask (Subjekt-Aufmerksamkeitsmaske): Subjekt-Token interagieren nur mit Bild-Token in den angegebenen Bereichen und sind vollständig von Layout-Token, Token der globalen Beschreibung sowie Bild-Token außerhalb der relevanten Bereiche isoliert, um eine originalgetreue Wiedergabe des Subjektinhalts sicherzustellen.
Layout Attention Mask (Layout-Aufmerksamkeitsmaske): Jedes Layout-Token interagiert nur mit Bild-Token im angegebenen Bereich, um semantische Interferenzen zwischen Layout-Elementen zu verhindern.

Datensatz

CreatiDesign hat einen umfangreichen Datensatz mit 400.000 annotierten Proben und mehreren Bedingungen erstellt, der den Anforderungen realer Designs gerecht wird. Darüber hinaus wurde ein vollständig automatisierter Syntheseprozess für Grafikdesign-Daten vorgeschlagen, der Themengenerierung, Textebenen-Rendering und Vordergrund-basierte Bildgenerierung umfasst.

Anwendungsszenarien

CreatiDesign kann verschiedene Grafikdesigns wie Filmplakate, Markenpromotion, Produktwerbung und Social-Media-Grafiken erzeugen. Es unterstützt außerdem mehrstufige Bearbeitung: Nutzer können auf bestehenden Design-Ergebnissen flexibel neuen Text oder neue Subjekte einfügen oder Textinhalte ändern. Das Modell kann angegebene Bereiche präzise bearbeiten und dabei die Inhalte außerhalb der bearbeiteten Bereiche unverändert lassen.

Vorteile

Im Vergleich zu bisherigen steuerbaren Diffusionsmodellen zeigt CreatiDesign herausragende Stärken bei der einheitlichen Modellierung heterogener Informationen mit mehreren Bedingungen, der feinen Entkopplung mehrerer Bedingungen sowie der unabhängigen Bereichssteuerung und der Unterstützung durch umfangreiche, qualitativ hochwertige Daten. Es löst das Problem früherer Modelle, die bei der Verarbeitung von Grafikdesigns einseitig oder nur unzureichend präzise steuerbar waren.