ZenCtrl: Erzeugung hochauflösender Bilder mit mehreren Ansichten und Szenen aus einem einzelnen Subjektbild 88

Was ist ZenCtrl?

ZenCtrl ist ein auf OminiControl basierendes, weiterentwickeltes Framework zur Erzeugung visueller ki-Inhalte, das sich darauf konzentriert, aus einem einzelnen Subjektbild hochauflösende Bilder aus mehreren Perspektiven und in verschiedenen Szenen zu generieren, ohne dass ein Modell-Finetuning erforderlich ist. Mit anderen Worten: Man kann ein Bild eines Objekts in verschiedene Szenen einfügen und es aus unterschiedlichen Blickwinkeln rendern. Es bietet eine präzise Steuerung von Form, Pose, Kamerawinkel und Kontext und eignet sich für zahlreiche Anwendungsfälle wie Produktfotografie, virtuelles Anprobieren von Mode und virtuelles Umkleiden. Dies ist eine große Hilfe für Kreative, die schnell verschiedene Bildeffekte erzeugen möchten.

Hauptfunktionen von ZenCtrl

• Kein Finetuning erforderlich: Der Erstellungsprozess startet mit nur einem Subjektbild, ohne zusätzliches Training.

• Präzise Steuerung: Unterstützt die exakte Kontrolle von Form, Pose, Kamerawinkel und Kontext.

• Hochauflösende und szenenübergreifende Generierung: Unterstützt die Ausgabe hochauflösender Bilder und passt sich an vielfältige Szenenanforderungen an.

• Modularer Aufbau: Umfasst Vorverarbeitung, Steuerung, Bearbeitung und Nachbearbeitung und kann je nach Bedarf frei kombiniert werden.

• Vorverarbeitung: Beinhaltet Hintergrundentfernung, Tiefen-Freistellung, Formanpassung, Segmentierung u. v. m.

• Steuerungsmodelle: Unterstützt Formsteuerung (z. B. Canny-Kantenerkennung, HED usw.), Posesteuerung (z. B. OpenPose und DensePose), Maskensteuerung, Steuerung des Kamerablickwinkels usw.

• Bearbeitungsmodelle: Umfassen Inpainting (z. B. Entfernung, Maskenbearbeitung, Ersetzung usw.), Outpainting, Transformation/Bewegung, Relighting usw.

• Nachbearbeitung: Beinhaltet Entunschärfung, Farbkorrektur, natürliches Zusammenfügen usw.

Anwendungsszenarien von ZenCtrl

• Produktfotografie: Schnelle Erzeugung von Produktbildern aus verschiedenen Blickwinkeln zur Steigerung der Fotografieeffizienz.

• Virtuelles Anprobieren von Mode und Accessoires: Virtuelles Anprobieren von Kleidung und Accessoires zur Darstellung der Wirkung.

• Virtuelles Anprobieren: Zum Beispiel virtuelles Anprobieren von Schuhen, Hüten, Brillen usw.

• Personen- und Porträtsteuerung: Präzise Steuerung von Pose und Ausdruck, um professionelle Porträts für private und kommerzielle Zwecke zu erstellen.

• Kreative Inhalte für Illustration, Animation und Werbung: Schnelle Erzeugung kreativer Inhalte zur Steigerung der Kreationseffizienz.

Wirkung von ZenCtrl

• Steigerung der Kreationseffizienz: Reduziert manuelle Eingriffe durch Automatisierung und modularen Aufbau.

• Kostensenkung: Es werden keine umfangreichen Trainingsdaten und kein Finetuning benötigt.

• Erhöhte kreative Flexibilität: Unterstützt zahlreiche Steuerungs- und Bearbeitungsfunktionen.

• Erhalt der Subjektkonsistenz: Bewahrt Form, Pose und semantische Konsistenz des Subjekts in verschiedenen Szenen und Perspektiven.

Installation und Nutzung

Umgebungsvorbereitung:

# 克隆仓库并创建虚拟环境
git clone https://github.com/FotographerAI/ZenCtrl.git
cd ZenCtrl
python -m venv venv
source venv/bin/activate  # Linux/macOS
.\venv\Scripts\activate    # Windows
# 安装依赖
pip install -r requirements.txt

Modell-Download:

# 下载预训练模型权重
mkdir weights\zen2con_1440_17000
curl -L https://huggingface.co/fotographerai/zenctrl_tools/resolve/main/weights/zen2con_1440_17000/pytorch_lora_weights.safetensors -o weights\zen2con_1440_17000\pytorch_lora_weights.safetensors

Anwendung starten:

# 启动 Gradio 界面
python app/gradio_app.py

Projektlinks

GitHub-Projekt:https://github.com/FotographerAI/ZenCtrl

Hugging-Face-Seite:https://huggingface.co/fotographerai/zenctrl_tools

Hugging-Face-Space zur Online-Nutzung:https://huggingface.co/spaces/fotographerai/ZenCtrl