CreatiDesign: un Transformer de difusión multi-condicional unificado para diseño gráfico creativo 86

小编 · 2025-06-12

CreatiDesign es un modelo de generación de diseño gráfico multimodal, editable y de alta precisión, desarrollado conjuntamente por la Universidad de Fudan y ByteDance. Genera diseños gráficos con alta precisión gestionando múltiples elementos —visuales principales, decoraciones auxiliares y contenido textual— y resuelve las limitaciones de los métodos tradicionales ante entradas multi-condicionales. Gracias a su desacoplamiento fino y control independiente, CreatiDesign ofrece un diseño más controlable y coherente.

CreatiDesign: un Transformer de difusión multi-condicional unificado para diseño gráfico creativo

CreatiDesign es un modelo de generación de diseño gráfico desarrollado en colaboración por la Universidad de Fudan y el equipo de ByteDance, con alta precisión, multimodal y editable. Es capaz de generar diseños gráficos con alta precisión, manejando simultáneamente múltiples elementos, incluyendo elementos visuales principales, decoración auxiliar y contenido textual, resolviendo las limitaciones de los métodos tradicionales ante entradas con múltiples condiciones. Mediante un desacoplamiento preciso y un control independiente, CreatiDesign hace que el diseño sea más controlable y consistente.

Este modelo adopta un innovador mecanismo de atención multimodal y también puede sintetizar datos de forma automática, por lo que supera los niveles más avanzados actuales en múltiples criterios de evaluación. No solo mejora la eficiencia del diseño, sino que también permite a los usuarios modificar de forma flexible los diseños existentes, por ejemplo añadiendo nuevos elementos o ajustando el texto, manteniendo al mismo tiempo la coherencia e integridad del diseño general.

Modelo CreatiDesign: transformador de difusión multi-condición unificado para diseño gráfico creativo.webp

Arquitectura del modelo

CreatiDesign adopta el marco MM-DiT (Transformador de Difusión Multimodal), logrando un control cooperativo de múltiples condiciones diferentes mediante una arquitectura simplificada. Sus principales características son las siguientes:

Condición de imágenes multiasunto: los usuarios pueden introducir varios elementos visuales principales (como imágenes de productos, logotipos, etc.) y colocarlos libremente. Estos elementos se procesan mediante un codificador para generar tokens visuales principales, que se utilizan en la generación posterior.
Condición de diseño semántico: las descripciones semánticas de los elementos auxiliares o del texto se convierten en tokens de características semánticas mediante el codificador de texto T5, y la información de posición espacial se concatena con las características semánticas tras una Transformada de Fourier, formando los tokens de diseño.
Descripción global: los usuarios también pueden introducir una descripción general, que es codificada por T5 en un token de descripción global, utilizado para guiar el contenido y el estilo generales.
Mecanismo de atención multimodal: en cada capa del Transformador, se adopta un mecanismo de atención multimodal (MM-Attention), que permite una fusión profunda de tokens de diferentes modalidades, logrando un modelado y control conjunto de múltiples condiciones.

Controlabilidad independiente

CreatiDesign propone dos mecanismos exclusivos de máscaras de atención para mejorar la controlabilidad independiente de cada condición:

Máscara de atención de asunto (Subject Attention Mask): los tokens de asunto solo interactúan con los tokens de imagen dentro del área designada, y están completamente aislados de los tokens de diseño, los tokens de descripción global y los tokens de imagen de áreas no relacionadas, garantizando una alta fidelidad del contenido principal.
Máscara de atención de diseño (Layout Attention Mask): cada token de diseño solo interactúa con los tokens de imagen dentro del área designada, evitando la interferencia semántica entre los elementos del diseño.

Conjunto de datos

CreatiDesign ha construido un conjunto de datos a gran escala con anotaciones multi-condición que contiene 400.000 muestras, satisfaciendo las necesidades reales de diseño. Además, propone un proceso totalmente automático de síntesis de datos de diseño gráfico, incluyendo la generación de temas, la renderización de capas de texto y la generación de imágenes basada en el primer plano.

Escenarios de aplicación

CreatiDesign puede generar diversos diseños gráficos, como carteles de películas, promociones de marca, publicidad de productos e imágenes para redes sociales. También admite edición en múltiples turnos, lo que permite a los usuarios insertar flexiblemente nuevo texto o nuevos asuntos en los resultados de diseño existentes, o modificar el contenido del texto. El modelo puede editar con precisión áreas específicas, manteniendo al mismo tiempo el contenido de las áreas no editadas sin cambios.

Ventajas

En comparación con los modelos de difusión controlables anteriores, CreatiDesign destaca en el modelado unificado de información heterogénea multi-condición, el desacoplamiento preciso multi-condición y el control independiente por regiones, así como en el soporte de datos a gran escala y de alta calidad. Resuelve los problemas de los modelos anteriores al tratar con diseño gráfico, como el "sesgo" en capacidades específicas o la falta de controlabilidad precisa.