HairFastGan:ほぼリアルタイムの髪型転送を実現する仮想ヘアスタイル試着フレームワーク 74

小编 ·

HairFastGan:ほぼリアルタイムの髪型転送を実現する仮想ヘアスタイル試着フレームワーク

HairFastGANは、高解像度でほぼリアルタイムの髪型転送を実現する仮想ヘアスタイル試着フレームワーク。StyleGANのFS潜在空間で操作し、強化された修復手法と改良されたエンコーダーを組み合わせることで、複雑な姿勢における髪のアライメント、色転送、詳細修復の課題を解決し、特に複雑な髪型や姿勢差が大きいシーンで優れた性能を発揮する。

HairFastGan:ほぼリアルタイムの髪型転送を実現する仮想ヘアスタイル試着フレームワーク

HairFastGANとは?

HairFastGANは、仮想的な髪型試着フレームワークであり、高解像度でほぼリアルタイムの髪型転写を実現します。StyleGANのFS潜在空間で操作を行い、強化された修復方法と改良されたエンコーダーを組み合わせることで、複雑な姿勢下での髪型の整列、色転写、詳細修復の問題を解決し、特に複雑な髪型や姿勢差が大きいシーンで優れた性能を発揮します。

HairFastGANの主な特徴

  • 高い効率性:従来の最適化プロセスに基づく髪型転写方法と比較して、HairFastGANはエンコーダーアーキテクチャを採用しており、高解像度出力を保証しながら、ほぼリアルタイム性能を実現します。最も複雑な髪型形状と色転写のシーンにおいて、Nvidia V100 GPU上での実行時間は1秒未満です。

  • 高品質な再構築:HairFastGANフレームワークは、StyleGANのFS潜在空間での操作、強化された修復方法、および改良されたエンコーダーにより、より優れた整列、色転写、後処理を実現し、ランダムな髪型転写や元の髪型の再構築において優れた性能を発揮します。

  • 姿勢適応性:従来の髪型転写方法は、ソース姿勢とターゲット姿勢の差が大きい場合に性能が低下しますが、HairFastGANは姿勢情報を考慮することで、この差異を効果的に処理できます。

HairFastGAN 核心特点.jpg

HairFastGANの方法

  • 埋め込み(Embedding):入力画像と参照画像をStyleGANのFS潜在空間に埋め込み、同時にセグメンテーションマスクを取得します。

  • 整列(Alignment):形状モジュールを通じて参照画像からターゲット画像へ髪型形状を転写します。

  • ブレンディング(Blending):ソース画像のS空間を編集することで、参照画像の髪色をターゲット画像に転写します。

  • 後処理(Post-Processing):オリジナル画像で失われた詳細を復元し、顔のアイデンティティ保持と結果のリアルさを確保します。

HairFastGAN 方法.webp

HairFastGANの応用シーン

  • 美容業界:仮想髪型試着により、顧客が異なる髪型効果を素早くプレビューでき、美容デザインの体験を向上させます。

  • ファッションとメイク:ファッション雑誌や広告デザイン、個人のイメージデザインに使用され、複数の髪型案を迅速に生成できます。

  • エンターテインメントとゲーム:ゲーム内でキャラクターの髪型をカスタマイズしたり、ソーシャルメディアでフィルターとしてリアルタイム試用したりできます。

  • 医療リハビリテーション:植毛患者が術後の効果をプレビューしたり、脱毛患者に心理的リハビリテーションの補助を提供したりします。

HairFastGANの使用方法

1. 依存関係のインストール

まず、環境にPythonと必要な依存ライブラリがインストールされていることを確認してください。以下のコマンドでインストールできます:

pip install torch torchvision
pip install git+https://github.com/NVlabs/stylegan2-ada-pytorch.git

2. プロジェクトコードのクローン

GitHubからHairFastGANのコードをクローンします:

git clone https://github.com/AIRI-Institute/HairFastGAN.git
cd HairFastGAN

3. 事前学習済みモデルのダウンロード

Hugging Faceまたはプロジェクトが提供するリンクから事前学習済みモデルファイルをダウンロードし、指定されたディレクトリ(例:models/)に配置します。

4. 入力画像の準備

  • 入力写真:顔を含む高画質な写真が必要です。

  • 参照写真:目標の髪型を含む参照写真が必要です。

  • 入力写真と参照写真の解像度と形式が要件を満たしていることを確認してください。

HairFastGAN使用方法.jpg

5. コードの実行

以下のコマンドを実行して髪型転写を行います:

python run.py --input <input_image_path> --ref <reference_image_path> --model <model_path>

<input_image_path>:入力写真のパス。

<reference_image_path>:参照写真のパス。

<model_path>:事前学習済みモデルのパス。

6. 結果の確認

実行が完了すると、生成された髪型転写結果は指定された出力ディレクトリ(例:output/)に保存されます。

関連リンク

GitHubプロジェクト:https://github.com/AIRI-Institute/HairFastGAN

プロジェクトホームページ:https://airi-institute.github.io/HairFastGAN/

体験試用:https://huggingface.co/spaces/AIRI-Institute/HairFastGAN

Hugging Faceモデル:https://huggingface.co/AIRI-Institute/HairFastGAN

論文:https://arxiv.org/abs/2404.01094