ZenCtrl: генерация мультиракурсных и мультисценарных изображений высокого разрешения из одного изображения объекта 89

Что такое ZenCtrl?

ZenCtrl — это фреймворк для генерации визуального контента на основе ИИ, усовершенствованный на базе OminiControl. Он ориентирован на создание высококачественных изображений с множеством ракурсов и сцен на основе одного изображения объекта и не требует дообучения модели. Другими словами, он позволяет пользователю поместить изображение предмета в различные сцены, а также генерировать изображения с разных углов обзора. Он обеспечивает точное управление формой, позой, углом камеры и контекстом и подходит для множества сценариев применения, таких как предметная фотография, виртуальная примерка модной одежды и виртуальная замена гардероба. Это удобно для творческих специалистов, позволяя им быстро создавать разнообразные визуальные эффекты.

Основные возможности ZenCtrl

• Без дообучения: для запуска процесса创作 достаточно всего одного изображения объекта, дополнительное обучение не требуется.

• Точное управление: поддержка точного управления формой, позой, углом камеры и контекстом.

• Генерация в высоком разрешении и для множества сцен: поддержка вывода изображений в высоком разрешении и адаптация под различные сцены.

• Модульная архитектура: охватывает задачи предварительной обработки, управления, редактирования и постобработки, которые можно свободно комбинировать в зависимости от потребностей.

• Предварительная обработка: включает удаление фона, извлечение глубины, перестроение формы, сегментацию и другое.

• Модели управления: поддержка управления формой (например, детектор границ Canny, HED и др.), управления позой (например, OpenPose и DensePose), управления по маске, управления углом камеры и др.

• Модели редактирования: включают внутреннее заполнение (например, удаление, редактирование по маске, замена и др.), внешнее расширение, трансформацию/движение, пересвет и др.

• Постобработка: включает устранение размытия, цветокоррекцию, естественное слияние и др.

Сценарии применения ZenCtrl

• Предметная фотография: быстрое создание изображений товаров с разных углов, повышение эффективности фотосъёмки.

• Виртуальная примерка модной одежды и аксессуаров: виртуальная примерка одежды и аксессуаров для демонстрации эффекта.

• Виртуальная примерка: например, виртуальная примерка обуви, головных уборов, очков и т. д.

• Управление людьми и портретами: точное управление позой и выражением лица человека для создания профессиональных портретов для личных и коммерческих целей.

• Иллюстрация, анимация и рекламный креатив: быстрое создание творческого контента, повышение эффективности创作.

Назначение ZenCtrl

• Повышение эффективности创作: благодаря автоматизации и модульной архитектуре сокращается объём ручной работы.

• Снижение затрат: не требуются большие объёмы обучающих данных и дообучение.

• Расширение творческой гибкости: поддержка множества функций управления и редактирования.

• Сохранение一致性 объекта: в разных сценах и с разных углов сохраняются一致性 формы, позы и семантики основного объекта.

Установка и использование

Подготовка среды:

# 克隆仓库并创建虚拟环境
git clone https://github.com/FotographerAI/ZenCtrl.git
cd ZenCtrl
python -m venv venv
source venv/bin/activate  # Linux/macOS
.\venv\Scripts\activate    # Windows
# 安装依赖
pip install -r requirements.txt

Загрузка моделей:

# 下载预训练模型权重
mkdir weights\zen2con_1440_17000
curl -L https://huggingface.co/fotographerai/zenctrl_tools/resolve/main/weights/zen2con_1440_17000/pytorch_lora_weights.safetensors -o weights\zen2con_1440_17000\pytorch_lora_weights.safetensors

Запуск приложения:

# 启动 Gradio 界面
python app/gradio_app.py

Ссылки на проект

Проект на GitHub: https://github.com/FotographerAI/ZenCtrl

Страница на Hugging Face: https://huggingface.co/fotographerai/zenctrl_tools

Онлайн-демо на Hugging Face Space: https://huggingface.co/spaces/fotographerai/ZenCtrl