ZenCtrl: generación de imágenes de alta resolución con múltiples vistas y escenas a partir de una sola imagen del sujeto 93

¿Qué es ZenCtrl?

ZenCtrl es un marco de generación de contenido visual ai basado en mejoras de OminiControl, enfocado en generar imágenes de alta resolución desde múltiples ángulos y escenas a partir de una sola imagen del sujeto, sin necesidad de ajuste fino del modelo. Es decir, permite a los usuarios colocar la imagen de un objeto en diversas escenas y generar imágenes desde diferentes ángulos. Ofrece un control preciso sobre la forma, la pose, el ángulo de cámara y el contexto, siendo adecuado para múltiples aplicaciones como fotografía de productos, pruebas virtuales de moda y vestimenta. Esto resulta muy útil para los profesionales creativos, ya que les permite producir rápidamente varios efectos visuales.

Funcionalidades principales de ZenCtrl

• Sin ajuste fino: solo se necesita una imagen del sujeto para iniciar el proceso creativo, sin entrenamiento adicional.

• Control preciso: admite el control exacto de forma, pose, ángulo de cámara y contexto.

• Generación en alta resolución y múltiples escenas: admite salida de imágenes en alta resolución y se adapta a las necesidades de diversas escenas.

• Diseño modular: cubre tareas de preprocesamiento, control, edición y postprocesamiento, combinables libremente según las necesidades.

• Preprocesamiento: incluye eliminación de fondo, recorte de profundidad, remodelado de forma, segmentación, etc.

• Modelos de control: admite control de forma (como detección de bordes Canny, HED, etc.), control de pose (como OpenPose y DensePose), control de máscara, control de perspectiva de cámara, etc.

• Modelos de edición: incluye relleno interno (como eliminación, edición de máscaras, reemplazo, etc.), expansión externa, transformación/movimiento, reiluminación, etc.

• Postprocesamiento: incluye eliminación de desenfoque, corrección de color, fusión natural, etc.

Escenarios de aplicación de ZenCtrl

• Fotografía de productos: genera rápidamente imágenes展示 de productos desde distintos ángulos, mejorando la eficiencia fotográfica.

• Prueba virtual de moda y accesorios: prueba virtualmente ropa y accesorios para mostrar los efectos.

• Prueba virtual: como prueba virtual de zapatos, sombreros, gafas, etc.

• Control de personas y retratos: control preciso de la pose y expresión de las personas, creando retratos profesionales para uso personal y comercial.

• Ilustración, animación y creatividad publicitaria: genera rápidamente contenido creativo y mejora la eficiencia en la producción.

Función de ZenCtrl

• Mejora la eficiencia creativa: gracias a su diseño automatizado y modular, reduce las operaciones manuales.

• Reduce los costes: no requiere grandes volúmenes de datos de entrenamiento ni ajuste fino.

• Aumenta la flexibilidad creativa: admite múltiples funciones de control y edición.

• Mantiene la consistencia del sujeto: mantiene la coherencia de forma, pose y semántica del sujeto en distintas escenas y perspectivas.

Instalación y uso

Preparación del entorno:

# 克隆仓库并创建虚拟环境
git clone https://github.com/FotographerAI/ZenCtrl.git
cd ZenCtrl
python -m venv venv
source venv/bin/activate  # Linux/macOS
.\venv\Scripts\activate    # Windows
# 安装依赖
pip install -r requirements.txt

Descarga del modelo:

# 下载预训练模型权重
mkdir weights\zen2con_1440_17000
curl -L https://huggingface.co/fotographerai/zenctrl_tools/resolve/main/weights/zen2con_1440_17000/pytorch_lora_weights.safetensors -o weights\zen2con_1440_17000\pytorch_lora_weights.safetensors

Ejecución de la aplicación:

# 启动 Gradio 界面
python app/gradio_app.py

Enlaces del proyecto

Proyecto en GitHub：https://github.com/FotographerAI/ZenCtrl

Página en Hugging Face：https://huggingface.co/fotographerai/zenctrl_tools

Hugging Face Space para probar en línea：https://huggingface.co/spaces/fotographerai/ZenCtrl