HandRefiner：AI画像生成における手の変形問題を解決 133

ai画像生成における手の畸形の解決 現在の画像生成モデルは、画像生成の点では非常に優れていますが、人間の手の画像を生成する際に問題が発生することが多く、例えば指の数が正しくなかったり、手の形が奇妙だったりします。

HandRefinerプロジェクトアドレス：https://github.com/wenquanlu/HandRefiner/

HandRefiner論文アドレス：https://huggingface.co/hr16/ControlNet-HandRefiner-pruned

HandRefinerモデルダウンロード：https://huggingface.co/hr16/ControlNet-HandRefiner-pruned

HandRefinerは、画像の他の部分を変更せずに、形状が異常な手の画像を修正する方法を提案しています。条件付きインペインティング方式を採用して畸形の手を修正し、手の正しい形状とジェスチャーを識別し、これらの正しい情報を元の誤った手の画像に再適用します。

HandRefinerの主な特徴：

- 正確性：HandRefinerは生成画像中の畸形の手を正確に識別して修正することができ、効果的な後処理ソリューションを提供します。

- 一貫性の維持：手を修正すると同時に、画像の他の部分の一貫性を保ち、画像全体の品質に影響を与えません。

- 合成データの利用：研究によりControlNetにおける相転移現象が発見され、これによりHandRefinerは実際の手と合成手の間のドメイン差異の影響を受けることなく、合成データを効果的に学習に利用することができます。これは、HandRefinerが多く異なる手の樣子を学習できることを意味し、手がどれほど奇妙であっても、それに適した修正方法を見つけることができます。

- 適用性：HandRefinerは主に手の画像をターゲットとしていますが、その基本的な原理と技術は他の精密な修正が必要な画像生成タスクにも適用できます。例えば、この方法は足や耳など他の部分の修正にも使用できます。

HandRefinerの動作原理：

1、手部の識別と再構築： 問題の識別：首先、HandRefinerは生成画像中の形状が異常な手を識別します。手の再構築：手のメッシュ再構築モデルを使用して、HandRefinerは人の手本来のあるべき姿に基づいて正しい手を描き直します。正しい手の形状とジェスチャーを再構築することができます。これは、正常な手の訓練データに基づいて学習されたモデルであるため、畸形の手の画像からでも合理的な再構築結果を生成できます。

2、条件付きインペインティング： 修正プロセス：HandRefinerは条件付きインペインティング方式を採用して識別された問題のある手を処理します。手の形状と位置に関する重要な情報を含む深度マップを生成します。統合と修正：そして、この深度マップがControlNetを通じて拡散モデルに統合されるためのガイダンスとして使用されます。HandRefinerはこの描き直された手を元の絵に戻し、間違って描かれた手を置き換えますが、他の部分はそのままにして、元の絵のスタイルと内容を維持します。