Personalized Restoration：顔画像の精密復元と個別編集技術 135

Personalized Restoration（パーソナライズド修復）は、顔画像の精密な復元と個性的な編集技術であり、Personalized Restorationは損傷した画像の詳細を復元するだけでなく、個人の独特な顔の特徴を正確に捉え、再現することができ、復元された画像がクリアで自然なだけでなく、元の顔に忠実であることを保証します。同時に顔交換もサポートしています。

Personalized Restorationは、テキスト誘導とモデル調整を組み合わせた先進的な二軸調整方法により、復元された画像が元の顔に忠実でありながら、個人の独特なアイデンティティを保持することを保証します。

さらに、Personalized Restorationはテキスト誘導による編集もサポートしており、ユーザーが簡単なテキストプロンプトを通じて復元画像の特定の詳細を変更することができます。

Personalized Restorationの機能特徴：

• 参照画像を利用したパーソナライズされた拡散事前分布の活用

• ノイズ除去フレームワークにおける顔 identity 情報の保持

• 劣化した画像の視覚的属性の保持

Personalized Restorationの使用シーン：

• ある有名人の数枚の参考写真に対して、パーソナライズされた拡散モデルによる人物画像の復元

• 異なるパーソナライズされたモデルを使用して顔交換効果を実現

• テキストプロンプトと組み合わせたパーソナライズされたモデルのテキスト誘導編集

Personalized Restorationの主な機能と役割：

若い頃の祖父の姿が写った、ぼやけた古い写真があるとします。この写真は非常に大切なものですが、年月の経過により非常にぼやけており、色褪せ、顔の詳細がほとんど判別できない状態です。この写真を復元して、より鮮明で元の状態に近いものにしたいと考えています。

従来の画像復元技術では写真をより鮮明にできるかもしれませんが、特定の微笑みや目の形など、祖父独特の特徴が失われる可能性があります。これは、従来技術が一般的に祖父独特の外見に特化していない汎用的な画像モデルに依存しているためです。

Personalized Restorationの調整プロセス：

1、テキスト誘導による調整段階：

祖父の他の時期の鮮明な写真もいくつかあるとします。これらの写真と、いくつかの記述的なテキスト（「眼鏡をかけた若い頃の祖父、特有の笑顔を持つ」など）が、生成モデルGの微調整に使用されます。この微調整プロセスにより、モデルが祖父の独特な顔の特徴、例えば目の形や笑顔の方式などを理解し、学習することができます。

2、モデルベースの調整段階：

次に、微調整された生成モデルGを固定した上で、ガイダンスネットワークEを調整します。このステップの目的は、ぼやけた写真を復元する際に、ガイダンスネットワークがパーソナライズされた特徴（例えば祖父の笑顔）と画像の他の側面（色や鮮明度など）の両方を考慮できるようにすることです。

最終結果は次の通りです：復元後の写真は鮮明になっただけでなく、色や詳細もすべて改善されました。さらに重要なことは、この写真が祖父の独特な顔の特徴を忠実に反映しており、一見して祖父と分かることです。

このような二軸調整方法により、このシステムは個人の独特な特徴を保持しながら、自然で高品質な画像を復元することができ、古い写真に新たな命を吹き込み、より個人的な記憶の価値を持たせることができます。

同時に、顔交換機能もサポートしており、個人の特徴を他の画像に適用して、全く新しいビジュアル体験を作り出すことができます。例えば、ある人の顔の特徴を別の人の写真に移すことができます。

さらに、テキスト誘導による編集もサポートしており、ユーザーが「微笑」や「青い目」などのプロンプト修飾子を使用して、復元とともに関連する編集を有効にすることができます。