Cobra：線画に着色するオープンソースAIカラーモデル、特に漫画着色に特化 60

Cobra とは？

Cobra は、線画着色用の新規で高効率な長コンテキスト細粒度 ID 保持フレームワークであり、特に漫画着色に適しています。Cobra は、広範なコンテキスト参照画像を統合することで、白黒の線画をカラーイラストに変換します。この手法は 200 枚以上の参照画像をサポートしつつ、低遅延を維持し、柔軟なユーザー制御を提供します。

Cobra の手法

• コアアーキテクチャ：Cobra は Causal Sparse DiT アーキテクチャに基づいており、特別に設計された位置エンコーディング、因果スパースアテンション、KV-Cache（キーバリューキャッシュ）を利用して長コンテキストの参照を効果的に管理し、色の ID 一貫性を保証します。

• 局所再利用可能位置エンコーディング：適切なアスペクト比と解像度を確保します。

• 因果スパースアテンション：参照画像間のペアワイズ計算を削減することで計算複雑度を低減し、同時に KV-Cache を組み合わせて計算効率を高めます。

Cobra の実験結果

• 定性結果：Cobra は複雑なシーンにおいて色の ID を正確に保持し、高品質な着色結果を提供します。

• 定量的比較：既存の漫画着色手法（CLIP-IS、FID、PSNR、SSIM、AS 指標など）と比較して、Cobra は線画およびシャドウ付き線画の着色において優れた性能を発揮します。

• 参照画像数の影響：参照画像数が増加するにつれて、Cobra の性能は継続的に向上します。

• 推論時間の効率：因果スパースアテンション（KV-Cache 併用）は、異なる参照画像数においてより高い効率を示します。

Cobra の応用シナリオ

• インタラクティブな線画着色：ユーザーはカラーヒントを通じて着色結果を柔軟に制御できます。

• 線画着色：シンプルな線画に適しています。

• シャドウ付き線画の着色：複雑なシーンにおいて色の忠実度とディテールを保持します。

• 線画動画着色：動的コンテンツの着色をサポートします。

Cobra に関するよくある質問

質問：Cobra は他の線画着色手法と比較して、どのような点で優位性がありますか？

回答：Cobra の優位性は定性的および定量的な両面に表れています。定性的な面では、複雑なシーンで色の ID を正確に保持し、シャドウ付き線画を処理する際に色の忠実度を維持しながらディテールを強化できます。定量的な面では、CLIP-IS、FID、PSNR、SSIM、AS などの指標でより優れた性能を示し、推論時間の効率も高いです。

質問：Cobra における因果スパース DiT アーキテクチャはどのように計算効率を高めていますか？

回答：因果スパース DiT アーキテクチャは、参照画像間のペアワイズ計算を削減し、一方向の因果アテンションを適用し、KV キャッシュを使用することで計算効率を高めています。ペアワイズ計算の削減により計算複雑度が低下し、一方向の因果アテンションと KV キャッシュにより、効率的な計算を確保しつつ重要な色 ID 情報を効果的に伝達します。

質問：参照画像数は Cobra の性能にどのような影響を与えますか？

回答：参照画像数が増加するにつれて、Cobra の性能は継続的に向上する傾向を示します。例えば、CLIP-IS 指標は参照画像数が 4 のときの 0.9083 から 36 のときの 0.9183 へと向上し、FID 指標は 23.18 から 20.64 へと低下しています。また、PSNR、SSIM、AS などの指標もそれぞれ相応の向上を示しています。

関連リンク

プロジェクトホームページ：https://zhuang2002.github.io/Cobra/

Github：https://github.com/Zhuang2002/Cobra

論文：https://arxiv.org/abs/2504.12240