Piece it Together (PiT) : intègre des composants partiels dans un concept complet et génère les parties manquantes 194

Qu'est-ce que Piece it Together (PiT) ?

Piece it Together (PiT) est un cadre de génération de concepts visuels développé par des chercheurs de l'Université de Tel Aviv et de Bria ai. Il est capable d'intégrer de manière transparente les composants visuels partiels fournis par l'utilisateur dans un concept global cohérent, tout en générant simultanément les parties manquantes, produisant ainsi un concept complet et raisonnable. Autrement dit, il vous suffit de saisir de manière aléatoire quelques images, comme une aile, une mèche de cheveux, un œil, et il générera automatiquement pour vous une image complète. Cette approche est particulièrement adaptée aux domaines de la conception créative, tels que la conception de personnages, la conception de produits et la conception de jouets.

Fonctionnalités et caractéristiques de PiT

• Génération du partiel au global : intègre les composants visuels partiels fournis par l'utilisateur (comme une partie d'un objet, une esquisse, etc.) en un concept complet.

• Complétion des parties manquantes : déduit et génère automatiquement les parties manquantes, rendant le concept final généré raisonnable et complet dans le domaine cible.

• Manipulation sémantique : permet d'effectuer des modifications et des manipulations sémantiques sur le concept généré, comme ajuster le style ou l'humeur d'un personnage.

• Restauration des conditions textuelles : grâce à la technologie IP-LoRA, restaure la capacité de contrôle du concept généré par conditions textuelles, permettant aux images générées de mieux s'adapter à différentes scènes ou styles.

• Représentation basée sur l'espace IP+ : utilise l'espace de représentation interne d'IP-Adapter+, qui, par rapport à l'espace CLIP, permet de mieux préserver les détails visuels tout en prenant en charge la manipulation sémantique.

• Modèle de flux de correspondance léger : en entraînant un modèle de flux de correspondance léger (IP-Prior), il est capable de générer des combinaisons cohérentes basées sur des connaissances a priori spécifiques à un domaine.

• Formes d'entrée flexibles : prend en charge plusieurs formes d'entrée, notamment des fragments d'images, des esquisses, etc., offrant ainsi une plus grande flexibilité aux utilisateurs.

• Résultats de sortie diversifiés : pour une même entrée, le modèle peut générer plusieurs sorties raisonnables, aidant les concepteurs à explorer différentes directions créatives.

Scénarios d'application de PiT

• Conception de personnages : les concepteurs peuvent saisir certaines caractéristiques d'un personnage (comme des ailes, des yeux, etc.), le modèle génère une conception de personnage complète et prend en charge d'autres modifications sémantiques, comme l'ajustement de l'humeur ou du style du personnage.

• Conception de produits : saisissez certains éléments de conception d'un produit (comme la forme, le matériau, etc.), le modèle génère une conception de produit complète et prend en charge l'ajustement du style.

• Conceptualisation de jouets : saisissez certaines caractéristiques d'un jouet (comme la tête d'un animal, un vêtement, etc.), le modèle génère une conception de jouet complète.

• Dessin créatif : saisissez une esquisse ou des éléments de dessin partiels, le modèle génère une œuvre de dessin complète et prend en charge l'ajustement du style.

Comment utiliser PiT

1. Préparation de l'entrée : l'utilisateur doit préparer certains composants visuels, tels que des fragments d'images, des esquisses, etc. Ces composants peuvent constituer une partie d'un concept.

2. Saisie dans le modèle : saisissez ces composants dans le modèle PiT.

3. Génération du concept : le modèle intègre automatiquement ces composants et génère un concept complet, tout en complétant les parties manquantes.

4. Modification sémantique (facultatif) : l'utilisateur peut effectuer des modifications sémantiques sur le concept généré, comme l'ajustement du style ou de l'humeur.

5. Contrôle par conditions textuelles (facultatif) : grâce à la technologie IP-LoRA, l'utilisateur peut ajouter des conditions textuelles au concept généré afin de l'adapter à différentes scènes ou styles.

Adresse du projet :https://eladrich.github.io/PiT/

Article :https://arxiv.org/html/2503.10365v1