PixelHacker: KI-Inpainting auf Basis von Diffusionsmodellen zur Bildrestaurierung 66

Was ist PixelHacker?

PixelHacker ist ein auf Diffusionsmodellen basierendes Werkzeug zur Bildinpainting, das darauf spezialisiert ist, die strukturelle und semantische Konsistenz von Bildern während des Inpainting-Prozesses zu erhalten. Es nutzt eine Methode der latenten Kategorie-Leitung, um Vorder- und Hintergrund zu kennzeichnen und diese Informationen zur Steuerung des Inpainting-Prozesses zu verwenden.

Hauptmerkmale von PixelHacker

• Starke Fähigkeit zur Reparatur komplexer Strukturen: Kann komplexe Texturen, Formen und räumliche Beziehungen in Bildern präzise erfassen und rekonstruieren.

• Semantische Konsistenz: Die reparierten Bilder sind in Farbe, Objektmerkmalen und logischer Struktur hochgradig konsistent mit dem Originalbild.

• Datensatz und Vortraining: Vortrainiert auf einem großen Datensatz mit 14 Millionen Bild-Maske-Paaren und auf offenen Benchmarks feinabgestimmt.

• Breite Anwendbarkeit: Hervorragende Leistung auf Datensätzen wie Places2, CelebA-HQ und FFHQ.

Kerntechnologie von PixelHacker

• Latent Categories Guidance (LCG): PixelHacker erstellt einen großen Datensatz aus 14 Millionen Bild-Maske-Paaren, kennzeichnet Vorder- und Hintergrund (116 latente Kategorien für den Vordergrund, 21 latente Kategorien für den Hintergrund) und leitet das Modell so an, sich auf die Struktur- und Semantikinformationen des Bildes zu konzentrieren.

• Linearer Aufmerksamkeitsmechanismus: Das Modell kodiert die latenten Vorder- und Hintergrundmerkmale mithilfe zweier Embedding-Vektoren fester Größe und injiziert diese Merkmale während des Denoising-Prozesses über einen linearen Aufmerksamkeitsmechanismus intermittierend in das Modell.

Architektur von PixelHacker

PixelHacker basiert auf der Latent Diffusion Architecture. Ein Encoder überführt das Eingabebild in den latenten Raum, anschließend werden während des Denoising-Prozesses Vorder- und Hintergrundmerkmale injiziert, und schließlich rekonstruiert ein Decoder das reparierte Bild.

Methodik und Ablauf

• Erstellung des Datensatzes: Durch die Kennzeichnung von Vorder- und Hintergrundkategorien wurde ein umfangreicher Bild-Maske-Datensatz erstellt.

• Merkmalskodierung: Vorder- und Hintergrund werden mithilfe von Embedding-Vektoren fester Größe separat kodiert.

• Denoising-Prozess: Während des Denoising-Prozesses des Diffusionsmodells werden Vorder- und Hintergrundmerkmale über einen linearen Aufmerksamkeitsmechanismus in das Modell injiziert, um multiple Interaktionen von Struktur und Semantik zu fördern.

• Vortraining und Feinabstimmung: Das PixelHacker-Modell wird auf dem selbst erstellten Datensatz vortrainiert und auf offenen Benchmark-Datensätzen feinabgestimmt.

Anwendungsszenarien von PixelHacker

• Bildreparatur: Entfernen von Werbung, Schließen von Kratzern, Reparieren beschädigter Bereiche.

• Bildbearbeitung: Hintergrundwechsel, Objektaustausch unter Beibehaltung eines natürlichen Gesamteindrucks.

• Künstlerische Gestaltung: Kreative Erzeugung, Stilübertragung.

• Schutz des kulturellen Erbes: Restaurierung von Bildern alter Bücher, Wandmalereien und anderem Kulturgut.

• Verarbeitung medizinischer Bilder: Entfernung von Artefakten, Verbesserung der Bilddetails.

Projektlinks

Projektseite:https://hustvl.github.io/PixelHacker/

GitHub-Code:https://github.com/hustvl/PixelHacker

Paper-Link:https://arxiv.org/abs/2504.20438