MimicMotion: проект для генерации видео с движениями 131

От Tencent и Шанхайского транспортного университета, MimicMotion — это фреймворк для генерации видео, способный создавать высококачественные видеоролики любой длительности с любыми управляющими сигналами движений. Он позволяет генерировать детализированные и реалистичные видео с движениями человека, создавать видеоконтент произвольной длины, а также точно управлять содержанием видео, включая движения, позы и стиль видео.

Похож на «Туньи Уван» от Alibaba, но выглядит значительно лучше. MimicMotion поддерживает мимику и синхронизацию губ, поэтому подходит не только для создания танцевальных видео, но и для цифровых аватаров.

В последние годы генеративный искусственный интеллект добился значительного прогресса в области генерации изображений, что привело к появлению множества приложений. Тем не менее, генерация видео по-прежнему сталкивается с серьёзными проблемами в отношении управляемости, длительности видео и детализации, что препятствует применению и распространению этой технологии. В данной работе мы предлагаем фреймворк управляемой генерации видео под названием MimicMotion, который способен создавать высококачественные видеоролики произвольной длительности при любом управлении движениями. По сравнению с предыдущими методами наш подход

имеет несколько преимуществ.

Во-первых, благодаря управлению позами с учётом достоверности обеспечивается временна́я плавность, что позволяет повысить связность и плавность модели за счёт масштабных обучающих данных.

Во-вторых, региональная функция потерь на основе достоверности позы значительно снижает искажения изображений, существенно уменьшая деформации и артефакты в сгенерированных изображениях.

Наконец, для генерации плавных длинных видео предложена стратегия прогрессивного слияния латентных представлений. Такой подход позволяет создавать видео произвольной длины при допустимых вычислительных затратах.

Обширные эксперименты и пользовательские исследования показали, что MimicMotion значительно превосходит метод «Туньи Уван» от Alibaba по ряду параметров.

Код MimicMotion: https://github.com/Tencent/MimicMotion

Версия MimicMotion для ComfyUI: https://github.com/aiFSH/ComfyUI-MimicMotion