PIA : animateur d'images personnalisé 210

PIA est une méthode d'animation d'images personnalisée, réalisée via un module plug-and-play dans un modèle texte-vers-image, permettant de générer des vidéos offrant une grande contrôlabilité du mouvement et un fort alignement texte-image. Elle fonctionne avec divers modèles T2I personnalisés, sans nécessiter d'ajustements spécifiques.

Le PIA proposé anime l'image de façon réaliste selon différentes invites textuelles, tout en préservant le style distinctif et les détails haute fidélité. Il atteint un équilibre parfait entre apparence et mouvement, atténue les défis d'alignement d'image liés à l'apparence et se concentre sur l'alignement des guidages liés au mouvement.

Adresse du projet PIA : https://pi-animator.github.io/

Les avancées récentes des modèles personnalisés texte-vers-image (T2I) ont révolutionné la création de contenu, permettant aux non-professionnels de générer des images étonnantes avec des styles uniques. Bien que prometteuse, l'ajout de mouvements réalistes à ces images personnalisées par le texte pose des défis majeurs en termes de préservation du style distinctif, des détails haute fidélité et de contrôlabilité du mouvement via le texte.

Dans cet article, nous présentons PIA, un animateur d'images personnalisé qui excelle dans l'alignement avec l'image conditionnelle, permet la contrôlabilité du mouvement via le texte et assure la compatibilité avec divers modèles T2I personnalisés, sans ajustements spécifiques. Pour atteindre ces objectifs, PIA s'appuie sur un modèle T2I de base doté de couches d'alignement temporel entraînées, permettant de transformer de manière transparente tout modèle T2I personnalisé en un modèle d'animation d'images.

Un composant clé de PIA est l'introduction d'un module conditionnel qui exploite les trames conditionnelles et l'affinité inter-trames comme entrées, transmettant les informations d'apparence dans l'espace latent sous la direction d'invites d'affinité, afin de synthétiser des trames individuelles. Cette conception atténue les défis internes d'alignement d'image liés à l'apparence et permet de se concentrer davantage sur l'alignement des guidages liés au mouvement.

Implémentation de PIA :

• Modèle T2I de base avec couches d'alignement temporel : entraîné, transforme les modèles T2I personnalisés en modèles d'animation d'images.

• Module conditionnel : exploite les trames conditionnelles et les corrélations inter-trames, transmettant les informations d'apparence dans l'espace latent via des invites de corrélation pour guider la synthèse des trames.

Caractéristiques de PIA :

• Plug-and-play, permettant l'animation selon des invites textuelles.

• Préserve le style d'origine avec des détails haute fidélité sans distorsion.

PIA est une contribution du Laboratoire d'intelligence artificielle de Shanghai.