ZenCtrl : générer des images haute résolution multi-vues et multi-scènes à partir d'une seule image de sujet 92

Qu'est-ce que ZenCtrl ?

ZenCtrl est un cadre de génération de contenu visuel basé sur des améliorations d'OminiControl, axé sur la génération d'images haute résolution à partir d'une seule image du sujet, sous plusieurs angles et dans plusieurs scénarios, sans nécessiter de réglage fin du modèle. Autrement dit, il permet aux utilisateurs de placer une image d'un objet dans divers contextes et de générer des images sous différents angles. Il offre un contrôle précis sur la forme, la pose, l'angle de la caméra et le contexte, et convient à de nombreux cas d'usage tels que la photographie de produits, l'essayage virtuel de mode et le changement de tenue virtuel. Cela apporte de la commodité aux créatifs, leur permettant de produire rapidement divers effets d'image.

Fonctionnalités principales de ZenCtrl

• Sans réglage fin : seule une image du sujet est nécessaire pour démarrer le processus créatif, aucun entraînement supplémentaire n'est requis.

• Contrôle précis : prend en charge un contrôle exact de la forme, de la pose, de l'angle de la caméra et du contexte.

• Génération haute résolution et multi-scènes : prend en charge la sortie d'images haute résolution et s'adapte à une grande variété de scénarios.

• Conception modulaire : couvre les tâches de prétraitement, de contrôle, d'édition et de post-traitement, pouvant être librement combinées selon les besoins.

• Prétraitement : comprend la suppression d'arrière-plan, le détourage en profondeur, le remodelage de forme, la segmentation, etc.

• Modèles de contrôle : prennent en charge le contrôle de forme (comme la détection de contours Canny, HED, etc.), le contrôle de pose (comme OpenPose et DensePose), le contrôle par masque, le contrôle de l'angle de la caméra, etc.

• Modèles d'édition : comprennent le remplissage interne (comme la suppression, l'édition par masque, le remplacement, etc.), l'extension externe, la transformation/le mouvement, le ré-éclairage, etc.

• Post-traitement : comprend le défloutage, la correction des couleurs, la fusion naturelle, etc.

Cas d'usage de ZenCtrl

• Photographie de produits : génère rapidement des visuels produits sous différents angles, améliorant l'efficacité de la photographie.

• Essayage virtuel de mode et d'accessoires : essayage virtuel de vêtements et d'accessoires, permettant de visualiser le résultat.

• Essayage virtuel : essayage virtuel de chaussures, chapeaux, lunettes, etc.

• Contrôle des personnages et portraits : contrôle précis de la pose et des expressions des personnages, permettant de créer des portraits professionnels à usage personnel et commercial.

• Créativité pour illustration, animation et publicité : génère rapidement du contenu créatif, améliorant l'efficacité de la création.

Utilité de ZenCtrl

• Améliorer l'efficacité créative : grâce à l'automatisation et à la conception modulaire, réduit les opérations manuelles.

• Réduire les coûts : ne nécessite pas de grandes quantités de données d'entraînement ni de réglage fin.

• Renforcer la flexibilité créative : prend en charge de multiples fonctions de contrôle et d'édition.

• Préserver la cohérence du sujet : maintient la cohérence de forme, de pose et de sémantique du sujet à travers différents scénarios et angles.

Installation et utilisation

Préparation de l'environnement :

# 克隆仓库并创建虚拟环境
git clone https://github.com/FotographerAI/ZenCtrl.git
cd ZenCtrl
python -m venv venv
source venv/bin/activate  # Linux/macOS
.\venv\Scripts\activate    # Windows
# 安装依赖
pip install -r requirements.txt

Téléchargement du modèle :

# 下载预训练模型权重
mkdir weights\zen2con_1440_17000
curl -L https://huggingface.co/fotographerai/zenctrl_tools/resolve/main/weights/zen2con_1440_17000/pytorch_lora_weights.safetensors -o weights\zen2con_1440_17000\pytorch_lora_weights.safetensors

Lancement de l'application :

# 启动 Gradio 界面
python app/gradio_app.py

Liens du projet

Projet GitHub :https://github.com/FotographerAI/ZenCtrl

Page Hugging Face :https://huggingface.co/fotographerai/zenctrl_tools

Espace Hugging Face pour l'essayer en ligne :https://huggingface.co/spaces/fotographerai/ZenCtrl