PIA: персонализированный аниматор изображений 212

PIA — это метод персонализированной анимации изображений, реализованный через модуль plug-and-play в модели text-to-image, позволяющий создавать персонализированный аниматор изображений, способный генерировать видео с высокой управляемостью движения и сильным соответствием тексту и изображению, совместимый с различными персонализированными T2I-моделями без необходимости специальной настройки.

Предложенный PIA анимирует изображения реалистичными движениями в соответствии с различными текстовыми подсказками, сохраняя при этом уникальный стиль и высокодетализированные детали, достигая идеального баланса между внешним видом и движением, снижая сложности согласования изображений, связанные с внешним видом, и сосредотачиваясь на выравнивании управления, связанного с движением.

Адрес проекта PIA: https://pi-animator.github.io/

Последние достижения в области персонализированных моделей text-to-image (T2I) произвели революцию в создании контента, позволив непрофессионалам генерировать потрясающие изображения в уникальных стилях. Несмотря на большой потенциал, добавление реалистичных движений к этим персонализированным изображениям с помощью текста создаёт серьёзные проблемы, связанные с сохранением уникального стиля, высокой детализации и управляемостью движением через текст.

В данной статье мы представляем PIA — персонализированный аниматор изображений, который отлично справляется с выравниванием по условному изображению, обеспечивает управляемость движением через текст и совместим с различными персонализированными T2I-моделями без необходимости специальной настройки. Для достижения этих целей PIA построен на базовой T2I-модели с обученными временно выравнивающими слоями, что позволяет бесшовно преобразовывать любую персонализированную T2I-модель в модель анимации изображений.

Ключевым компонентом PIA является введение условного модуля, который использует условные кадры и межкадровое сродство в качестве входных данных, передавая информацию о внешнем виде под управлением подсказок сродства для покадрового синтеза в латентном пространстве. Такая конструкция снижает внутренние сложности выравнивания изображений, связанные с внешним видом, и позволяет более сосредоточиться на выравнивании управления, связанного с движением.

Реализация PIA:

• Базовая T2I-модель с временно выравнивающими слоями: обучена для преобразования персонализированных T2I-моделей в модели анимации изображений.

• Условный модуль: использует условные кадры и межкадровое сродство для передачи информации о внешнем виде в латентном пространстве через подсказки сродства, управляя синтезом кадров.

Особенности PIA:

• Plug-and-play, анимация на основе текстовых подсказок.

• Сохранение исходного стиля, высокая детализация без потерь.

PIA разработан Шанхайской лабораторией искусственного интеллекта.