ToonCrafter: автоматическая генерация промежуточных кадров для мультипликационной анимации 222

ToonCrafter автоматически генерирует промежуточные кадры для мультипликационной анимации и автоматически раскрашивает анимационные скетчи на основе референсных изображений. ToonCrafter использует метод генеративной интерполяции для создания естественных и связных промежуточных кадров между кадрами мультипликационной анимации. Он способен справляться со сложными нелинейными движениями и проблемами окклюзии, делая переходы анимации более плавными и естественными. Кроме того, он может раскрашивать скетчи на основе референсных изображений.

Вам нужно лишь предоставить одно или два референсных изображения, и система раскрасит входной скетч в соответствии с цветами и стилем референсных изображений.

ToonCrafter способен адаптироваться к различным стилям анимации — будь то простая линейная анимация или сложные мультипликационные сцены, он легко справляется с любой задачей.

ToonCrafter — это инструмент, разработанный совместно Китайским университетом Гонконга, Городским университетом Гонконга и Лабораторией искусственного интеллекта Tencent, предназначенный для того, чтобы помочь аниматорам более эффективно генерировать и оптимизировать переходы в мультипликационной анимации. Этот инструмент с помощью генеративных моделей и технологий интерполяции решает проблему неестественных переходов между кадрами в мультипликационной анимации, повышая эффективность и качество производства анимации.

Функции ToonCrafter:

Генеративная мультипликационная интерполяция: ToonCrafter использует метод генеративной интерполяции, позволяющий создавать естественные и связные промежуточные кадры между кадрами мультипликационной анимации. Этот метод способен справляться со сложными нелинейными движениями и проблемами окклюзии, делая анимационные переходы более плавными и естественными. Независимо от того, простой или сложный стиль анимации, ToonCrafter способен адаптироваться к нему.

Приведён пример того, как при создании анимации бега ToonCrafter генерирует промежуточные кадры между каждым шагом персонажа, благодаря чему бег выглядит связным и реалистичным.

Интерполяция на основе скетчей: ToonCrafter также поддерживает управление процессом интерполяции с помощью скетчей. Пользователь может предоставить разреженный ввод в виде скетчей, и система сгенерирует промежуточные кадры, соответствующие ожиданиям пользователя. Такой подход позволяет детально контролировать анимационные переходы и повышает точность и индивидуальность результатов интерполяции.

Приведён пример того, как при создании анимации взмаха руки пользователю достаточно нарисовать начальное и конечное положения, а ToonCrafter сгенерирует промежуточный процесс взмаха.

Адрес проекта ToonCrafter: https://huggingface.co/spaces/Doubiiu/tooncrafter

ToonCrafter на GitHub: https://github.com/ToonCrafter/ToonCrafter