PixelHacker：拡散モデルに基づく画像修復AIツール 70

PixelHackerとは？

PixelHackerは、拡散モデルに基づく画像修復ツールであり、修復プロセス中に画像の構造と意味の一貫性を維持することに重点を置いています。潜在カテゴリガイダンスという手法により、前景と背景にラベルを付与し、その情報を利用して修復プロセスを導きます。

PixelHackerの主な特徴

• 強力な複雑な構造修復能力：画像内の複雑なテクスチャ、形状、空間関係を正確に捉えて再構築できます。

• 意味的一貫性：修復後の画像は、元の画像と色、オブジェクトの特徴、論理的構造の点で高度に一貫しています。

• データセットと事前学習：1400万個の画像-マスクペアを含む大規模データセットに基づいて事前学習され、オープンソースベンチマークで微調整されています。

• 幅広い適用性：Places2、CelebA-HQ、FFHQなどのデータセットで優れた性能を発揮します。

PixelHackerのコア技術

• 潜在カテゴリガイダンス（Latent Categories Guidance, LCG）：PixelHackerは、1400万個の画像-マスクペアを含む大規模データセットを構築し、前景と背景にラベルを付与し（前景は116の潜在カテゴリ、背景は21の潜在カテゴリ）、これにより修復プロセス中にモデルが画像の構造と意味情報に注目するように導きます。

• 線形アテンション機構：モデルは、2つの固定サイズの埋め込みベクトルを使用して潜在的な前景と背景の特徴をそれぞれ符号化し、 denoisingプロセス中に線形アテンション機構を介してこれらの特徴をモデルに断続的に注入します。

PixelHackerのアーキテクチャ

PixelHackerは潜在拡散アーキテクチャ（Latent Diffusion Architecture）に基づいており、エンコーダーを通じて入力画像を潜在空間に変換し、denoisingプロセス中に前景と背景の特徴を注入し、最終的にデコーダーを通じて修復後の画像を再構築します。

方法とフロー

• データセット構築：前景と背景カテゴリにラベルを付与することで、大規模な画像-マスクペアデータセットを構築しました。

• 特徴符号化：固定サイズの埋め込みベクトルを使用して、前景と背景をそれぞれ符号化します。

• denoisingプロセス：拡散モデルのdenoisingプロセス中に、線形アテンション機構を通じて前景と背景の特徴をモデルに注入し、構造と意味の複数の相互作用を促進します。

• 事前学習と微調整：自社構築データセット上で事前学習を行い、オープンソースのベンチマークデータセットで微調整を行い、最終的にPixelHackerモデルを得ます。

PixelHackerの応用シナリオ

• 画像修復：広告の除去、傷の埋め合わせ、損傷領域の修復。

• 画像編集：背景の置き換え、オブジェクトの置き換え、全体的な自然な感じの維持。

• 芸術制作：クリエイティブ生成、スタイル変換。

• 文化遺産の保護：古籍、壁画などの文化遺産画像の修復。

• 医療画像処理：アーチファクトの除去、画像詳細の強化。

プロジェクトリンク

プロジェクトホームページ：https://hustvl.github.io/PixelHacker/

GitHubコード：https://github.com/hustvl/PixelHacker

論文リンク：https://arxiv.org/abs/2504.20438