CreatiDesign: унифицированный мульти-условный диффузионный трансформер для креативного графического дизайна 88

小编 · 2025-06-12

CreatiDesign — это высокоточная, мультимодальная и редактируемая модель генерации графического дизайна, разработанная совместно командой Фуданьского университета и ByteDance. Она позволяет генерировать графический дизайн с высокой точностью, одновременно обрабатывая множество элементов — главные визуальные образы, вспомогательные украшения и текстовый контент, решая проблемы традиционных методов при работе с мульти-условными входами. Благодаря тонкому разделению и независимому управлению CreatiDesign делает дизайн более управляемым и последовательным.

CreatiDesign: унифицированный мульти-условный диффузионный трансформер для креативного графического дизайна

CreatiDesign — это высокоточная, мультимодальная, редактируемая модель генерации графического дизайна, разработанная совместно командой ByteDance и Фуданьского университета. Она способна генерировать графический дизайн с высокой точностью, одновременно обрабатывая множество элементов, включая основные визуальные элементы, вспомогательные декоративные элементы и текстовое содержание, решая проблемы традиционных методов при работе с множеством входных условий. Благодаря точному разделению и независимому управлению CreatiDesign делает дизайн более контролируемым и согласованным.

Эта модель использует инновационный механизм мультимодального внимания, а также способна автоматически синтезировать данные, поэтому по многим критериям оценки она превосходит существующие передовые решения. Она не только повышает эффективность дизайна, но и позволяет пользователям гибко вносить изменения в уже существующий дизайн, например добавлять новые элементы или корректировать текст, сохраняя при этом общую гармоничность и целостность дизайна.

CreatiDesign模型：用于创意平面设计的统一多条件扩散变换器.webp

Архитектура модели

CreatiDesign использует фреймворк MM-DiT (мультимодальный диффузионный трансформер), обеспечивающий совместное управление множеством различных условий за счёт упрощённой архитектуры. Основные особенности:

Условия с несколькими основными изображениями: пользователь может вводить несколько ключевых визуальных элементов (например, изображений продуктов, логотипов и т. д.) и свободно их размещать. Эти элементы обрабатываются кодировщиком для генерации токенов основных визуальных элементов, используемых в дальнейшей генерации.
Условия семантической компоновки: семантические описания вспомогательных элементов или текста преобразуются текстовым кодировщиком T5 в токены семантических признаков, информация о пространственном положении после преобразования Фурье объединяется с семантическими признаками, формируя токены компоновки.
Глобальное описание: пользователь также может ввести общее описание, которое кодируется T5 в токен глобального описания для управления общим содержанием и стилем.
Механизм мультимодального внимания: на каждом слое трансформера используется механизм мультимодального внимания (MM-Attention), обеспечивающий глубокое слияние токенов разных модальностей и реализующий совместное моделирование и управление множеством условий.

Независимая управляемость

CreatiDesign предлагает два специальных механизма масок внимания, повышающих независимую управляемость каждого условия:

Маска внимания субъекта (Subject Attention Mask): токены субъекта взаимодействуют только с токенами изображения в заданной области и полностью изолированы от токенов компоновки, токенов глобального описания, а также от токенов изображения в нерелевантных областях, что обеспечивает высокую точность воспроизведения содержания субъекта.
Маска внимания компоновки (Layout Attention Mask): каждый токен компоновки взаимодействует только с токенами изображения в заданной области, предотвращая семантические помехи между элементами компоновки.

Набор данных

CreatiDesign создал масштабный набор данных с многоусловной разметкой, содержащий 400 000 образцов и отвечающий потребностям реального дизайна. Кроме того, был предложен полностью автоматический процесс синтеза данных графического дизайна, включающий генерацию тем, рендеринг текстовых слоёв и генерацию изображений на основе переднего плана.

Сценарии применения

CreatiDesign может генерировать разнообразные проекты графического дизайна, такие как киноафиши, брендовые акции, реклама продуктов и изображения для социальных сетей. Он также поддерживает многоэтапное редактирование: пользователь может гибко вставлять новый текст или субъекты в уже существующий результат дизайна либо изменять текстовое содержание. Модель способна точно редактировать указанную область, сохраняя при этом неизменным содержание областей, не подвергающихся редактированию.

Преимущества

По сравнению с предыдущими управляемыми диффузионными моделями CreatiDesign демонстрирует выдающиеся результаты в таких областях, как унифицированное моделирование разнородной информации с множеством условий, точное разделение условий и независимое региональное управление, а также поддержка крупномасштабных высококачественных данных. Он решает проблему «однобокости» или отсутствия точной управляемости, существовавшую в прежних моделях при работе с графическим дизайном.