Cobra: ИИ-модель раскраски с открытым кодом для контурных рисунков, особенно для манги 57

Что такое Cobra?

Cobra — это новый эффективный фреймворк для сохранения идентичности (ID) с длинным контекстом и мелкой детализацией, предназначенный для раскрашивания линейных рисунков, в особенности для раскрашивания комиксов. Cobra преобразует черно-белые линейные рисунки в цветные иллюстрации путем интеграции обширного контекста референсных изображений. Этот метод поддерживает более 200 референсных изображений, сохраняя при этом низкую задержку и обеспечивая гибкое управление со стороны пользователя.

Метод Cobra

• Основная архитектура: Cobra основана на архитектуре Causal Sparse DiT, использующей специально разработанное позиционное кодирование, каузальное разреженное внимание и кэш ключ-значение (KV-Cache) для эффективного управления длинным контекстом референсов, обеспечивая согласованность цветовой идентичности (ID).

• Локально переиспользуемое позиционное кодирование: обеспечивает правильное соотношение сторон и разрешение.

• Каузальное разреженное внимание: снижает вычислительную сложность за счет уменьшения попарных вычислений между референсными изображениями, а в сочетании с KV-Cache повышает вычислительную эффективность.

Результаты экспериментов Cobra

• Качественные результаты: Cobra способна точно сохранять цветовую идентичность (ID) в сложных сценах и предоставлять высококачественные результаты раскрашивания.

• Количественное сравнение: по сравнению с существующими методами раскрашивания комиксов (такими как метрики CLIP-IS, FID, PSNR, SSIM и AS), Cobra демонстрирует превосходные результаты в раскрашивании линейных рисунков и линейных рисунков с тенью.

• Влияние количества референсных изображений: производительность Cobra продолжает улучшаться по мере увеличения количества референсных изображений.

• Эффективность времени вывода: каузальное разреженное внимание (в сочетании с KV-Cache) демонстрирует более высокую эффективность при различном количестве референсных изображений.

Сценарии применения Cobra

• Интерактивное раскрашивание линейных рисунков: пользователи могут гибко управлять результатами раскрашивания с помощью цветовых подсказок.

• Раскрашивание линейных рисунков: подходит для простых линейных рисунков.

• Раскрашивание линейных рисунков с тенью: сохраняет точность цветопередачи и деталей в сложных сценах.

• Раскрашивание видео на основе линейных рисунков: поддерживает раскрашивание динамического контента.

Часто задаваемые вопросы о Cobra

Вопрос: В чем заключаются основные преимущества Cobra по сравнению с другими методами раскрашивания линейных рисунков?

Ответ:Преимущества Cobra проявляются как в качественном, так и в количественном отношении. В качественном отношении она способна точно сохранять цветовую идентичность (ID) в сложных сценах и поддерживать точность цветопередачи при обработке линейных рисунков с тенью, улучшая детализацию. В количественном отношении она превосходит аналоги по таким метрикам, как CLIP-IS, FID, PSNR, SSIM, AS, а также отличается более высокой эффективностью времени вывода.

Вопрос: Как каузальная разреженная архитектура DiT в Cobra повышает вычислительную эффективность?

Ответ:Каузальная разреженная архитектура DiT повышает вычислительную эффективность за счет уменьшения попарных вычислений между референсными изображениями, применения однонаправленного каузального внимания и использования KV-кэша. Уменьшение попарных вычислений снижает вычислительную сложность, а однонаправленное каузальное внимание и KV-кэш обеспечивают эффективную передачу ключевой информации о цветовой идентичности (ID) при сохранении высокой вычислительной эффективности.

Вопрос: Как количество референсных изображений влияет на производительность Cobra?

Ответ:По мере увеличения количества референсных изображений производительность Cobra демонстрирует устойчивую тенденцию к улучшению. Например, метрика CLIP-IS возрастает с 0,9083 при 4 референсных изображениях до 0,9183 при 36, метрика FID снижается с 23,18 до 20,64 и т. д.; метрики PSNR, SSIM, AS также показывают соответствующее улучшение.

Соответствующие ссылки

Страница проекта:https://zhuang2002.github.io/Cobra/

Github:https://github.com/Zhuang2002/Cobra

Статья:https://arxiv.org/abs/2504.12240