CreatiDesign: 창의적 그래픽 디자인을 위한 통합 다중 조건 확산 트랜스포머 85

小编 · 2025-06-12

CreatiDesign는 푸단대학교과 ByteDance 팀이 협력하여 개발한 고정밀, 멀티모달, 편집 가능한 그래픽 디자인 생성 모델입니다. 메인 비주얼 요소, 보조 장식, 텍스트 콘텐츠 등 여러 요소를 고정밀로 처리하여 다중 조건 입력 시 기존 방법의 한계를 해결합니다. 정교한 분리 및 독립적 제어를 통해 디자인을 더 통제 가능하고 일관성 있게 만듭니다.

CreatiDesign: 창의적 그래픽 디자인을 위한 통합 다중 조건 확산 트랜스포머

CreatiDesign는 복단대학교와 바이트댄스 팀이 협력하여 개발한 고정밀, 멀티모달, 편집 가능한 그래픽 디자인 생성 모델입니다. 주된 시각적 요소, 보조 장식, 텍스트 콘텐츠를 포함하여 다양한 요소를 동시에 처리하면서 그래픽 디자인을 고정밀로 생성할 수 있으며, 다중 조건 입력 시 기존 방법의 한계를 해결합니다. 정교한 분리 및 독립적인 제어를 통해 CreatiDesign은 디자인을 더욱 통제 가능하고 일관성 있게 만듭니다.

이 모델은 혁신적인 멀티모달 어텐션 메커니즘을 채택하고 데이터를 자동으로 합성할 수 있어, 여러 평가 기준에서 기존의 최고 수준을 능가합니다. 디자인 효율성을 높일 뿐만 아니라, 사용자가 기존 디자인을 기반으로 새로운 요소를 추가하거나 텍스트를 조정하는 등 유연하게 수정할 수 있게 해주며, 전체 디자인의 조화와 완전성을 유지합니다.

CreatiDesign模型：用于创意平面设计的统一多条件扩散变换器.webp

모델 아키텍처

CreatiDesign은 MM-DiT(Multimodal Diffusion Transformer) 프레임워크를 채택하여, 단순화된 아키텍처를 통해 여러 가지 서로 다른 조건의协同 제어를 실현합니다. 주요 특징은 다음과 같습니다.

다중 주체 이미지 조건: 사용자는 여러 주된 시각적 요소(제품 이미지, 로고 등)를 입력하고 자유롭게 배치할 수 있습니다. 이러한 요소는 인코더를 거쳐 처리된 후 주된 시각적 토큰을 생성하며, 이는 후속 생성에 사용됩니다.
의미적 레이아웃 조건: 보조 요소나 텍스트의 의미적 설명은 T5 텍스트 인코더를 통해 의미적 특징 토큰으로 변환되고, 공간 위치 정보는 푸리에 변환 후 의미적 특징과 연결되어 레이아웃 토큰을 형성합니다.
전역 설명: 사용자는 전체적인 설명을 입력할 수도 있으며, 이는 T5에 의해 전역 설명 토큰으로 인코딩되어 전체 콘텐츠와 스타일을 안내하는 데 사용됩니다.
멀티모달 어텐션 메커니즘: 각 Transformer 레이어에서 멀티모달 어텐션(MM-Attention) 메커니즘을 채택하여 서로 다른 모달리티의 토큰을 깊이 융합하고, 다중 조건의 공동 모델링 및 제어를 실현합니다.

독립적인 제어 가능성

CreatiDesign은 각 조건의 독립적인 제어 가능성을 강화하는 두 가지 전용 어텐션 마스크 메커니즘을 제안합니다.

주체 어텐션 마스크(Subject Attention Mask): 주체 토큰은 지정된 영역 내의 이미지만 토큰과 상호작용하며, 레이아웃 토큰, 전역 설명 토큰 및 관련 없는 영역의 이미지 토큰과 완전히 분리되어 주체 콘텐츠의 높은 충실도를 보장합니다.
레이아웃 어텐션 마스크(Layout Attention Mask): 각 레이아웃 토큰은 지정된 영역 내의 이미지만 토큰과 상호작용하여 레이아웃 요소 간의 의미적 간섭을 방지합니다.

데이터셋

CreatiDesign은 실제 설계 요구 사항을 충족하는 40만 개의 샘플을 포함하는 대규모 다중 조건 주석 데이터셋을 구축했습니다. 또한 주제 생성, 텍스트 레이어 렌더링, 전경 기반 이미지 생성을 포함한 완전 자동화된 그래픽 디자인 데이터 합성 프로세스를 제안합니다.

활용 시나리오

CreatiDesign은 영화 포스터, 브랜드 프로모션, 제품 광고, 소셜 미디어 이미지 등 다양한 그래픽 디자인을 생성할 수 있습니다. 또한 다중 라운드 편집을 지원하여, 사용자가 기존 디자인 결과에 새로운 텍스트나 주체를 유연하게 삽입하거나 텍스트 콘텐츠를 수정할 수 있으며, 모델은 편집되지 않은 영역의 콘텐츠를 유지하면서 지정된 영역을 정확하게 편집할 수 있습니다.

장점

기존의 제어 가능한 확산 모델과 비교하여, CreatiDesign은 다중 조건 이질 정보의 통합 모델링, 다중 조건의 정교한 분리 및 영역 독립 제어, 대규모 고품질 데이터 지원 등에서 뛰어난 성능을 보입니다. 그래픽 디자인 처리 시 기존 모델의 '편향' 문제나 정밀한 제어 가능성 부족 문제를 해결합니다.