Drehbuch-Assistent▸ 
AI Apps 
AI Nachrichten 
HandRefiner: Lösung für Handdeformationen in der KI-Bildgenerierung
HandRefiner: Lösung für Handdeformationen in der KI-BildgenerierungEinführung
Behebung von Handdeformationen bei der KI-Bildgenerierung Aktuelle Bildgenerierungsmodelle sind bereits sehr leistungsfähig bei der Erzeugung von Bildern, weisen jedoch häufig Probleme bei der Darstellung menschlicher Hände auf, wie etwa eine falsche Anzahl von Fingern oder ungewöhnliche Handformen.
Projekt-Adresse von HandRefiner: https://github.com/wenquanlu/HandRefiner/
Paper-Adresse von HandRefiner: https://huggingface.co/hr16/ControlNet-HandRefiner-pruned
Modell-Download von HandRefiner: https://huggingface.co/hr16/ControlNet-HandRefiner-pruned
HandRefiner stellt eine Methode vor, die fehlerhafte Handabbildungen korrigiert, ohne andere Teile des Bildes zu verändern. Dabei wird ein bedingtes Inpainting-Verfahren eingesetzt, um deformierte Hände zu korrigieren. Es kann die korrekte Form und Geste der Hand erkennen und diese korrekten Informationen erneut auf das ursprüngliche, fehlerhafte Handbild anwenden.
Hauptmerkmale von HandRefiner:
- Präzision: HandRefiner kann deformierte Hände in generierten Bildern präzise erkennen und korrigieren und bietet eine effektive Nachbearbeitungslösung.
- Konsistenzerhaltung: Bei der Korrektur der Hände bleibt die Konsistenz der übrigen Bildteile erhalten, sodass die Gesamtqualität des Bildes nicht beeinträchtigt wird.
- Nutzung synthetischer Daten: In der Untersuchung wurde ein Phasenübergangsphänomen in ControlNet entdeckt, das es HandRefiner ermöglicht, synthetische Daten effektiv für das Training zu nutzen, ohne durch die Domänenunterschiede zwischen echten und synthetischen Händen beeinflusst zu werden. Dies bedeutet, dass HandRefiner viele verschiedene Handformen erlernen kann, sodass es unabhängig davon, wie ungewöhnlich eine Hand ist, stets eine geeignete Korrekturmethode findet.
- Anwendbarkeit: Obwohl HandRefiner hauptsächlich auf Handbilder ausgerichtet ist, können die zugrunde liegenden Prinzipien und Techniken auch auf andere Bildgenerierungsaufgaben angewendet werden, die feinkörnige Korrekturen erfordern. Beispielsweise kann diese Methode auch zur Korrektur anderer Körperteile wie Füße oder Ohren eingesetzt werden.
Funktionsweise von HandRefiner:
1. Handerkennung und -rekonstruktion: Problemerkennung: Zunächst identifiziert HandRefiner die in den generierten Bildern fehlerhaft dargestellten Hände. Handrekonstruktion: Mithilfe eines Hand-Mesh-Rekonstruktionsmodells zeichnet HandRefiner die Hand entsprechend dem, wie eine menschliche Hand aussehen sollte, korrekt neu. Es kann die korrekte Handform und -geste rekonstruieren. Dies ist möglich, da das Modell auf Trainingsdaten mit normalen Händen basiert und somit auch bei deformierten Handbildern sinnvolle Rekonstruktionsergebnisse liefern kann.
2. Bedingtes Inpainting: Inpainting-Prozess: HandRefiner verwendet ein bedingtes Inpainting-Verfahren, um die erkannten fehlerhaften Hände zu bearbeiten. Es wird eine Tiefenkarte erzeugt, die wichtige Informationen über Form und Position der Hand enthält. Integration und Korrektur: Diese Tiefenkarte wird anschließend als Steuerung verwendet und über ControlNet in das Diffusionsmodell integriert. HandRefiner fügt die neu gezeichnete Hand wieder in das ursprüngliche Bild ein und ersetzt die fehlerhaft dargestellte Hand, während alle anderen Bereiche unverändert bleiben, sodass der Stil und der Inhalt des Originalbildes erhalten bleiben.
