PIA: animador de imágenes personalizado 208

PIA es un método de animación de imágenes personalizado que logra un animador de imágenes personalizado mediante un módulo plug-and-play dentro de un modelo de texto a imagen, capaz de generar vídeos con alta controlabilidad de movimiento y una fuerte alineación entre texto e imagen, siendo compatible con diversos modelos T2I personalizados sin requerir ajustes específicos.

El PIA propuesto anima estas imágenes con movimientos realistas basados en diferentes indicaciones de texto, al mismo tiempo que preserva su estilo distintivo y los detalles de alta fidelidad, logrando un equilibrio perfecto entre apariencia y movimiento, mitigando los retos de alineación de imagen relacionados con la apariencia y centrándose en la alineación de la guía relacionada con el movimiento.

Dirección del proyecto PIA: https://pi-animator.github.io/

Los recientes avances en los modelos personalizados de texto a imagen (T2I) han revolucionado la creación de contenido, permitiendo a los no profesionales generar imágenes sorprendentes con estilos únicos. Aunque prometedor, añadir movimientos realistas a estas imágenes personalizadas mediante texto presenta retos importantes a la hora de preservar el estilo distintivo, los detalles de alta fidelidad y lograr la controlabilidad del movimiento a través de texto.

En este artículo presentamos PIA, un animador de imágenes personalizado que destaca en la alineación con la imagen de condición, permite la controlabilidad del movimiento mediante texto y es compatible con diversos modelos T2I personalizados sin requerir ajustes específicos. Para alcanzar estos objetivos, PIA se construye sobre un modelo T2I base con capas alineadas temporalmente bien entrenadas, lo que permite transformar sin problemas cualquier modelo T2I personalizado en un modelo de animación de imágenes.

Un componente clave de PIA es la introducción de un módulo de condición que aprovecha los fotogramas de condición y la afinidad entre fotogramas como entrada, transmitiendo la información de apariencia bajo la guía de las indicaciones de afinidad para sintetizar fotogramas individuales en el espacio latente. Este diseño alivia los retos internos de alineación de imagen relacionados con la apariencia y permite una mayor concentración en la alineación de la guía relacionada con el movimiento.

Implementación de PIA:

• Modelo T2I base con capas alineadas temporalmente: bien entrenado, transforma modelos T2I personalizados en modelos de animación de imágenes.

• Módulo de condición: aprovecha los fotogramas de condición y la afinidad entre fotogramas, transmitiendo la información de apariencia en el espacio latente mediante indicaciones de afinidad para guiar la síntesis de fotogramas.

Características de PIA:

• Plug-and-play, logra la animación a partir de indicaciones de texto.

• Preserva el estilo original y mantiene los detalles de alta fidelidad sin distorsión.

PIA es una contribución del Laboratorio de Inteligencia Artificial de Shanghái.