MimicBrush: Automatische lokale Bearbeitung und Ersetzung ausgewählter Bildbereiche 191

2024-06-19

MimicBrush ist ein gemeinsam von der University of Hong Kong und Alibaba entwickeltes Bildbearbeitungstool, das automatisch lokale Bearbeitungen oder Ersetzungen in ausgewählten Bereichen eines Zielbilds vornimmt. Nutzer markieren einfach den zu bearbeitenden Bereich und liefern ein Referenzbild — MimicBrush erkennt intelligent den Zusammenhang zwischen beiden und passt den Zielbereich an das Referenzbild an. Beispielsweise laden Sie ein Bild hoch, wählen einen bestimmten Teil (wie Kleidung, Haare oder Hintergrund einer Person) und laden dann ein Referenzbild hoch, das Ihnen gefällt. MimicBrush bearbeitet Ihr Zielbild automatisch anhand der Referenz.

MimicBrush: Automatische lokale Bearbeitung und Ersetzung ausgewählter Bildbereiche

MimicBrush ist ein von der Universität Hongkong und Alibaba gemeinsam entwickeltes Bildbearbeitungstool, das automatisch lokale Bearbeitungen oder Ersetzungen in ausgewählten Bereichen eines Zielbildes vornimmt. Der Nutzer muss lediglich den zu bearbeitenden Bereich markieren und ein Referenzbild bereitstellen. MimicBrush erkennt dann intelligent die Zusammenhänge zwischen beiden und kann das Zielbild entsprechend dem Referenzbild anpassen. Das bedeutet: Sie laden ein Bild hoch, wählen einen bestimmten Teil davon aus, zum Beispiel die Kleidung, die Haare oder den Hintergrund einer Person, und laden anschließend ein Referenzbild hoch, das Ihnen gefällt. MimicBrush bearbeitet dann automatisch den ausgewählten Bildbereich basierend auf dem Referenzbild, sodass er dem Aussehen des Referenzbildes entspricht. So können Sie gezielt nur einen Teil eines Bildes ändern, anstatt das gesamte Bild zu bearbeiten. Darüber hinaus extrahiert MimicBrush auf intelligente Weise Texturen aus dem Referenzbild (wie Leopardenmuster, Blumenmuster, Holzmaserung usw.) und überträgt sie in das Zielbild.

Funktionsmerkmale von MimicBrush:

Referenzbild-Imitation: Der Nutzer kann auf dem Zielbild einen bestimmten zu bearbeitenden Bereich markieren und dann ein Referenzbild bereitstellen, das den gewünschten Stil oder das gewünschte Objekt enthält. MimicBrush kann spezifische visuelle Merkmale im Referenzbild analysieren und imitieren und diese Merkmale nahtlos auf den markierten Bereich des Quellbildes anwenden, um Stil- oder Inhaltskonsistenz zu erreichen.
Zero-Shot-Bildbearbeitung: Der Nutzer kann Stiltransformationen in Bildern durchführen, ohne umfangreiche Beispieldaten bereitstellen oder komplexe Trainings durchführen zu müssen.
Selbstüberwachtes Lernen: MimicBrush nutzt selbstüberwachte Lerntechniken, um die semantische Ausrichtungsfähigkeit zu verbessern, sodass das Modell selbstüberwacht semantische Entsprechungen zwischen verschiedenen Bildern erfassen kann.
Lokales Stil-Redesign: MimicBrush kann einen Teil eines Bildes in ein anderes Bild integrieren und so ein lokales Stil-Redesign ermöglichen.

Verwendung von MimicBrush:

Nutzer können MimicBrush in wenigen einfachen Schritten direkt im Webbrowser verwenden: Zuerst wird das Zielbild hochgeladen, dann eine Maske für den Bearbeitungsbereich gezeichnet oder hochgeladen, anschließend das Referenzbild hochgeladen, und mit einem Klick kann die Bearbeitung gestartet werden.

MimicBrush eignet sich für Szenarien wie E-Commerce-Produktpräsentationen, Bildbearbeitung und Content-Migration.

Projekt-URL: https://xavierchen34.github.io/MimicBrush-Page/

Github:https://github.com/ali-vilab/MimicBrush

HuggingFace: https://huggingface.co/spaces/xichenhku/MimicBrush