CustomNet_云技派,专注ai人工智能! 149

CustomNet vise à mieux fusionner l'image d'un objet spécifié dans une image nouvellement générée, tout en veillant à ce que le style et les détails de texture de l'objet d'origine soient restitués. Cette technologie apporte une lueur d'espoir à la fusion d'images de produits.

Lors du processus de génération texte-vers-image, l'intégration d'objets personnalisés dans la génération d'images est une fonctionnalité extrêmement attrayante. Cependant, les méthodes existantes, qu'elles soient basées sur l'optimisation ou sur un encodeur, présentent toutes certains défauts, tels qu'un temps d'optimisation long, une préservation insuffisante de l'identité et un effet omniprésent de copier-coller.

Pour surmonter ces limitations, nous introduisons CustomNet, une nouvelle méthode de personnalisation d'objets qui intègre explicitement la fonctionnalité de synthèse de nouvelles vues en trois dimensions dans le processus de personnalisation d'objets. Cette intégration permet d'ajuster les relations de position spatiale et les angles de vue, produisant des résultats diversifiés tout en préservant efficacement les caractéristiques de l'objet.

De plus, nous avons introduit une conception subtile permettant le contrôle de la position et un contrôle flexible de l'arrière-plan via des descriptions textuelles ou des images personnalisées spécifiques, surmontant ainsi les limites des méthodes existantes de synthèse de nouvelles vues en trois dimensions. Nous utilisons en outre un pipeline de construction de jeux de données pour mieux traiter les objets du monde réel et les arrière-plans complexes.

Grâce à ces conceptions, notre méthode permet une personnalisation d'objets en zero-shot-shot sans nécessiter d'optimisation au moment du test, tout en offrant un contrôle sur la position, le point de vue et l'arrière-plan. Ainsi, notre réseau personnalisé garantit une protection renforcée de l'identité et génère des résultats diversifiés et harmonieux.

CustomNet permet de contrôler simultanément l'angle de vue, la position et l'arrière-plan dans un cadre unifié, permettant ainsi une génération d'images personnalisées harmonieuse tout en préservant efficacement les caractéristiques de l'objet et les détails de texture. La génération de l'arrière-plan peut être contrôlée via une description textuelle (branche « generate ») ou en fournissant une image personnalisée spécifique (branche « composite »).