Magic Animate_云技派,专注ai人工智能! 119

Magic Animate — это новаторский проект с открытым исходным кодом, который упрощает создание анимации и позволяет создавать анимационные видео из одного изображения и динамического видео. Проще говоря, при заданном референсном изображении и последовательности поз (видео) он может сгенерировать анимационное видео, которое повторяет движения поз и сохраняет идентичность референсного изображения. Разработан Show Lab Национального университета Сингапура и ByteDance.

Magic Animate обеспечивает наивысшую согласованность среди всех решений для танцевальных видео, однако лицо и руки в Magic Animate иногда могут искажаться. Конфигурация по умолчанию может приводить к стилевому сдвигу от аниме к реализму, особенно в отношении лиц на видео. Применение аниме-стиля к управляющему видео DensePose по умолчанию также влияет на пропорции тела.

Официальный адрес сайта Magic Animate:www.magicanimate.org

Основные функции MagicAnimate:

• Создание анимации из одного изображения и динамического видео

• Поддержание временной согласованности

• Сохранение референсного изображения

• Повышение точности анимации

• Интеграция с моделями диффузии T2I, такими как DALLE3

• Анимация между различными идентичностями и из неизвестных областей

• Анимация изображений с помощью текстовых подсказок

• Высокая согласованность в решениях для танцевальных видео

Как использовать MagicAnimate?

Чтобы использовать Magic Animate, необходимо загрузить предобученные базовые модели StableDiffusion V1.5 и VAE, дообученную с помощью MSE. Затем вы можете установить необходимые зависимости и активировать среду conda. После этого загрузите статичное фото человека, загрузите демонстрационное видео с желаемым движением и настройте параметры. После этого вы можете попробовать онлайн-демонстрацию на Huggingface или Replicate. Кроме того, вы можете использовать Replicate API для программной генерации анимационных видео.