Diffutoon_云技派,专注ai人工智能! 115

Diffutoon — это революционный прорыв в мультипликационной колоризации, основанный на моделях диффузии, который позволяет бесшовно преобразовывать реалистичные видео в аниме-визуальный стиль. Данный метод разбивает задачу мультипликационной колоризации на четыре различимые составляющие: стилизация, повышение согласованности, структурное руководство и колоризация. Его основной конвейер мультипликационной колоризации работает на базе мультимодульной модели шумоподавления, основанной на принципах диффузии в аниме-стиле, и обладает впечатляющей способностью рендеринга детализированных видео в высоком разрешении и большой длительности. Интеграция редакторской ветви способствует манипулированию контентом в соответствии с предоставленными подсказками. Благодаря стратегической интеграции Flash-внимания изящно смягчаются ограничения памяти графического процессора, что позволяет достигать разрешения до 1536 x 1536.

Diffutoon способен рендерить в аниме-стиле детализированные видео в высоком разрешении и большой длительности. Он также позволяет редактировать контент с помощью дополнительной ветви. Эффективность Diffutoon оценивается с помощью числовых метрик и оценок людей. Примечательно, что Diffutoon в наших экспериментах превзошёл как открытые, так и закрытые базовые методы.

Основные функции Diffutoon:

• Преобразование реалистичных видео в различные аниме-стили

• Редактирование содержимого видео на основе пользовательских подсказок, например, изменение цветов или добавление спецэффектов.
  

• Детальное сохранение таких элементов, как освещение, волосы и позы, при сохранении визуальных эффектов, тесно связанных с анимационным стилем.

• Сохранение согласованности содержимого видео, предотвращение мерцания и искажений.

• Возможность генерации видео в высоком разрешении и большой длительности.

Основные особенности Diffutoon:

• Высокое разрешение на выходе: Diffutoon способен обрабатывать видео сверхвысокого разрешения, что делает его подходящим для профессиональных анимационных и видеопроектов.

• Повышение согласованности: обеспечивает единообразную стилизацию между кадрами, что крайне важно для сохранения визуальной связности анимационных последовательностей.

• Редактируемый контент: метод позволяет редактировать содержимое на основе подсказок, обеспечивая гибкость творческого процесса.

• Структурное руководство и колоризация: Diffutoon сочетает структурное руководство и колоризацию для повышения визуальной привлекательности и точности стилизованного результата.

Применения Diffutoon:

• Создание анимации: Diffutoon может использоваться для создания анимации, преобразуя живые кадры или другие типы видео в анимационные ролики.

• Видеомонтаж: возможность редактировать содержимое видео на основе подсказок делает его мощным инструментом для видеоредакторов, желающих интегрировать аниме-эстетику в свои проекты.

• Творческие проекты: художники и создатели контента могут использовать Diffutoon для экспериментов с различными стилями и эффектами в своих видео.

Статья: https://arxiv.org/pdf/2401.16224

Github：https://github.com/modelscope/DiffSynth-Studio

Проект：https://ecnu-cilab.github.io/DiffutoonProjectPage/