Assistant scénario▸ 
Apps AI 
Actualités AI UniCombine : un cadre de génération contrôlée multi-conditions combinant texte, cartographie spatiale et image du sujet
小编 ·
UniCombine : un cadre de génération contrôlée multi-conditions combinant texte, cartographie spatiale et image du sujet
Qu'est-ce qu'UniCombine ?
UniCombine est un cadre de génération contrôlée à conditions multiples lancé conjointement par l'Université de Fudan, le Laboratoire YouTu de Tencent et d'autres institutions. Basé sur l'architecture du Transformateur de Diffusion (Diffusion Transformer, DiT), il est capable de traiter des tâches de génération combinée avec des conditions de contrôle arbitraires telles que des invites textuelles, des cartes spatiales et des images de sujet.
Fonctionnalités principales d'UniCombine
UniCombine peut gérer toute combinaison de conditions, qu'il s'agisse d'invites textuelles (text prompts), de cartes spatiales (spatial maps) ou d'images de sujet (subject images), tout en garantissant que le résultat généré reste cohérent avec toutes les conditions d'entrée. Par exemple, il peut réaliser les tâches suivantes :
Insertion de sujet (Subject-Insertion) : insérer un sujet spécifié dans une image d'arrière-plan.
Alignement spatial du sujet (Subject-Spatial) : ajuster la disposition du sujet en fonction de la carte spatiale.
Génération à conditions spatiales multiples (Multi-Spatial) : générer des images en combinant plusieurs conditions spatiales.
Architecture technique d'UniCombine
L'architecture d'UniCombine est basée sur MMDiT (Masked Multi-Modal Diffusion Transformer) et introduit les mécanismes suivants :
Mécanisme d'attention conditionnelle MMDiT (Conditional MMDiT Attention) : utilisé pour traiter les séquences d'entrée à conditions multiples, capable de fusionner efficacement les caractéristiques des différentes conditions.
Module de commutation LoRA (LoRA Switching Module) : gère plusieurs branches de conditions et active dynamiquement les modules LoRA conditionnels pré-entraînés en fonction du type de condition.
Module LoRA débruitant entraînable (Denoising-LoRA Module) : dans la version basée sur l'entraînement, ce module est entraîné pour améliorer davantage les performances.
Caractéristiques et avantages d'UniCombine
Polyvalence : capable de traiter toute combinaison de conditions, adapté à une grande variété de tâches de génération.
Flexibilité : propose deux versions, sans entraînement (training-free) et basée sur l'entraînement (training-based).
Haute performance : obtient d'excellents résultats dans les tâches de génération à conditions multiples, atteignant des performances de pointe.
Installation et utilisation d'UniCombine
Le code d'UniCombine est open source. Les étapes d'installation sont les suivantes :
conda create -n unicombine python=3.12 conda activate unicombine pip install -r requirements.txt
De plus, en raison des limitations de la bibliothèque diffusers, le code doit être mis à jour manuellement.
Scénarios d'application d'UniCombine
Présentation de produits et génération de textes : générer des images de produits multi-styles et des textes correspondants à partir de textes et d'images de sujet.
Recommandation personnalisée : générer des pages de présentation de produits personnalisées en fonction des préférences de l'utilisateur.
Essai virtuel : générer des effets d'essayage en combinant l'avatar virtuel de l'utilisateur, afin d'améliorer l'expérience d'achat.
Publicité et contenus de recommandation : générer des illustrations, des scripts vidéo, etc., pour enrichir les contenus.
Recherche multimodale : optimiser la précision des résultats de recherche en combinant les caractéristiques des produits.
Dépôt GitHub :https://github.com/Xuan-World/UniCombinearXiv
Article :https://arxiv.org/html/2503.09277v1
