ZenCtrl:1枚の主体画像からマルチビュー・マルチシーンの高解像度画像を生成 94

小编 ·

ZenCtrl:1枚の主体画像からマルチビュー・マルチシーンの高解像度画像を生成

ZenCtrlはOminiControlをベースに改良されたビジュアルコンテンツ生成AIフレームワークで、モデルのファインチューニングなしに1枚の主体画像からマルチビュー・マルチシーンの高解像度画像を生成することに特化しています。つまり、ユーザーが1枚の物体の画像をさまざまなシーンに配置し、異なる角度から画像を生成できます。形状、ポーズ、カメラアングル、コンテキストをきめ細かく制御でき、プロダクト写真、バーチャル試着、ファッション試着など多様な用途に適しています。これはクリエイターに大きな利便性をもたらし、さまざまな画像効果を素早く作り出すことができます。

ZenCtrl:1枚の主体画像からマルチビュー・マルチシーンの高解像度画像を生成

ZenCtrlとは?

ZenCtrlは、OminiControlを改良した視覚コンテンツai生成フレームワークで、単一の被写体画像から複数視点・複数シーンの高解像度画像を生成することに特化しており、モデルの微調整は不要です。ユーザーが1枚の物体の画像をさまざまなシーンに配置し、異なる角度から画像を生成することも可能です。形状、ポーズ、カメラアングル、コンテキストに対する精密な制御を提供し、商品写真、ファッション試着、バーチャル着せ替えなど多様なアプリケーションシナリオに適用できます。これにより、クリエイティブワーカーは多様な画像効果を迅速に作成できるようになります。

ZenCtrl:単一の被写体画像から複数視点・複数シーンの高解像度画像を生成.webp

ZenCtrlの主な機能

  • 微調整不要:被写体画像1枚だけで制作プロセスを開始でき、追加のトレーニングは不要です。

  • 精密な制御:形状、ポーズ、カメラアングル、コンテキストを正確に制御できます。

  • 高解像度と複数シーン生成:高解像度の画像出力をサポートし、多様なシーンのニーズに対応します。

  • モジュラー設計:前処理、制御、編集、後処理タスクをカバーし、ニーズに応じて自由に組み合わせ可能です。

  • 前処理:背景除去、奥行き切り抜き、形状再形成、セグメンテーションなどを含みます。

  • 制御モデル:形状制御(Cannyエッジ検出、HEDなど)、ポーズ制御(OpenPoseやDensePoseなど)、マスク制御、カメラ視点制御などをサポートします。

  • 編集モデル:インペイント(除去、マスク編集、置換など)、アウトペインティング、変換/モーション、リライティングなどを含みます。

  • 後処理:ブレ除去、色補正、自然な合成などを含みます。

ZenCtrlの応用シナリオ

  • 商品写真:異なる角度の商品展示画像を迅速に生成し、撮影効率を向上させます。

  • ファッションおよびアクセサリーの試着:衣服やアクセサリーをバーチャル試着し、効果を展示します。

  • バーチャル試着:靴、帽子、メガネなどのバーチャル試着。

  • 人物と肖像の制御:人物のポーズと表情を正確に制御し、個人用および商用利用向けのプロフェッショナルな肖像を作成します。

  • イラストレーション、アニメーション、広告クリエイティブ:クリエイティブコンテンツを迅速に生成し、制作効率を向上させます。

ZenCtrlの利点

  • 制作効率の向上:自動化とモジュラー設計により、手動操作を削減します。

  • コストの削減:大量のトレーニングデータや微調整が不要です。

  • クリエイティブの柔軟性の強化:多様な制御および編集機能をサポートします。

  • 被写体の一貫性の保持:異なるシーンや視点においても、被写体の形状、ポーズ、意味的な一貫性を保ちます。

インストールと使用方法

環境の準備:

# 克隆仓库并创建虚拟环境
git clone https://github.com/FotographerAI/ZenCtrl.git
cd ZenCtrl
python -m venv venv
source venv/bin/activate  # Linux/macOS
.\venv\Scripts\activate    # Windows
# 安装依赖
pip install -r requirements.txt

モデルのダウンロード:

# 下载预训练模型权重
mkdir weights\zen2con_1440_17000
curl -L https://huggingface.co/fotographerai/zenctrl_tools/resolve/main/weights/zen2con_1440_17000/pytorch_lora_weights.safetensors -o weights\zen2con_1440_17000\pytorch_lora_weights.safetensors

アプリケーションの起動:

# 启动 Gradio 界面
python app/gradio_app.py

プロジェクトリンク

GitHubプロジェクト:https://github.com/FotographerAI/ZenCtrl 

Hugging Faceページ:https://huggingface.co/fotographerai/zenctrl_tools

Hugging Face Space オンライン体験:https://huggingface.co/spaces/fotographerai/ZenCtrl