LBM: effiziente Bild-zu-Bild-Übersetzung für Relighting, Objektentfernung und Inpainting 193

Was ist LBM?

LBM ist eine Bild-zu-Bild-Übersetzungsmethode, die auf Latent Bridge Matching basiert. Sie ermöglicht eine qualitativ hochwertige Bildübersetzung in einem einzigen Inferenzschritt und erreicht eine Leistung, die mit den derzeit modernsten Methoden vergleichbar ist. Die Kernidee der Methode besteht darin, Quell- und Zielbild in einen latenten Raum zu kodieren und einen stochastischen Pfad zwischen ihnen aufzubauen. Durch die Schätzung des Drifts mittels einer stochastischen Differentialgleichung wird so die Übersetzung von der Quell- zur Zielverteilung realisiert.

Kernfunktionen der LBM-Methode

• Bild-zu-Bild-Übersetzung: Schnelle Übersetzung eines Quellbilds in ein Zielbild mit nur einem einzigen Inferenzschritt.

• Objektneu-Beleuchtung: Anpassung der Beleuchtung eines Vordergrundobjekts an die Hintergrundbeleuchtung zur Steigerung des Bildrealismus.

• Objektentfernung: Entfernt Objekte und deren Schatten aus dem Bild und bewahrt dabei einen natürlichen Hintergrund.

• Bildinpainting: Übersetzung degradierter Bilder in qualitativ hochwertige Bilder, repariert Schäden oder Rauschen.

• Tiefen- und Normalenschätzung: Übersetzung von Bildern in Tiefen- oder Normalenkarten, geeignet für Aufgaben wie 3D-Rekonstruktion.

• Steuerbare Beleuchtungs- und Schattenerzeugung: Erzeugung von Schatten oder Anpassung der Beleuchtung basierend auf den Lichtverhältnissen.

• Aufgabenübergreifende Vielseitigkeit: Geeignet für zahlreiche Bildverarbeitungsaufgaben und zeigt eine hohe Anpassungsfähigkeit.

• Effizientes Training und Inferenz: Reduziert durch Optimierungsstrategien den Speicherverbrauch und steigert die Effizienz von Training und Inferenz.

Eigenschaften der LBM-Methode

• Effizienz: LBM benötigt nur einen einzigen Inferenzschritt, um die Bildübersetzung abzuschließen, was die Eignung für Echtzeitanwendungen deutlich erhöht.

• Flexibilität: Die Methode ist für verschiedene Bildübersetzungsaufgaben geeignet, darunter Objektentfernung, Tiefen- und Normalenschätzung, Objektneu-Beleuchtung sowie Schattenerzeugung.

• Skalierbarkeit: LBM kann hochauflösende Bilder verarbeiten und liefert auch bei großen Datensätzen hervorragende Ergebnisse.

Anwendungen der LBM-Methode

• Objektentfernung: LBM kann bestimmte Objekte und deren Schatten aus einem Bild entfernen und dabei die Natürlichkeit und Konsistenz des Hintergrunds bewahren.

• Objektneu-Beleuchtung: Neu-Beleuchtung von Vordergrundobjekten basierend auf dem Hintergrundbild oder den Lichtbedingungen, um realistische Lichteffekte zu erzeugen.

• Schattenerzeugung: Erzeugung von Objektschatten basierend auf den Lichtbedingungen zur Steigerung des Bildrealismus.

• Bildinpainting: Übersetzung der Verteilung degradierter Bilder in die Verteilung klarer Bilder.

GitHub-Repository:https://github.com/gojasper/LBM

Projekt-Hauptseite:https://gojasper.github.io/latent-bridge-matching/