SHMT：自己教師あり階層型メイクアップ転写技術 191

SHMT（Self-supervised Hierarchical Makeup Transfer）は、自監督階層型メイク転送技術であり、アリババや武漢理工大学などの機関が共同で開発しました。この技術は潜在拡散モデルによって実現され、多様なメイクスタイルを自然かつ正確に所定の顔画像に適用することができます。SHMT技術は、eコマースプラットフォームでのオンライン試着に使用でき、高忠実度のメイク詳細転送を提供します。従来のメイク転送方法と比較して、SHMTはメイク詳細の保持度と自然さにおいて比較的顕著な向上を実現しています。

SHMTメイク転送技術の原理と応用

SHMT（自監督階層メイク転送）は、新興のメイク転送技術であり、主にアリババDAMO Academyと武漢理工大学などの機関が共同で開発しました。この技術の中核は、潜在拡散モデルを通じてメイクの自監督転送を実現することで、多様なメイクスタイルを自然かつ正確に所定の顔画像に適用することができます。

原理

• 自監督学習：SHMTは自監督戦略を採用してモデル訓練を行い、従来方法におけるペアデータへの依存を回避しています。この方法は分離と再構成を通じて、注釈データなしでもモデルが効果的に学習できるようにします。

• 階層化処理：この技術は化粧プロセスを複数の階層に分解し、ベースメイク、アイメイク、リップメイクなどが含まれます。階層化処理により、SHMTはメイクの詳細をより良好に保持し、転送効果の自然さとリアルさを向上させます。

• 潜在拡散モデル：SHMTは潜在拡散モデルを利用して新しい顔画像を生成し、その画像はソース画像の内容情報（背景、顔の構造、ポーズ、表情など）を保持するだけでなく、参照画像の化粧スタイルも適用しています。この方法は、従来のメイク転送で一般的に見られる次善合成問題を効果的に解決します。

応用

• eコマースプラットフォーム：SHMT技術はeコマースプラットフォームの仮想試着に使用でき、ユーザー体験を向上させます。

• 映像制作：映像制作において、SHMTはキャラクターのメイクの迅速な調整と応用に使用できます。

• ソーシャルメディア：ユーザーはソーシャルメディアでSHMT技術を利用して、さまざまなメイクスタイルを試すことができます。

• 美容業界：美容業界はSHMT技術を利用してメイクのデザインや展示を行うことができます。

• パーソナライズドサービス：ユーザーにパーソナライズされたメイクの提案や試着サービスを提供し、ユーザーの多様なニーズに応えます。

SHMT技術の重要な特徴の一つはそのオープンソース性質であり、開発者や研究者がこの技術により容易にアクセスして利用できるようにし、関連分野の革新と発展を推進します。さらに、eコマース試着におけるSHMTの応用は、個人ユーザーに限定されず、データ分析を商家に提供し、消費者の嗜好を理解して製品とマーケティング戦略を最適化するのに役立ちます。

ソーシャルメディアにおいて、SHMTの応用はAR（拡張現実）技術と組み合わせて、リアルタイムのメイク試用体験を提供し、ユーザーの参加感と満足度をさらに向上させることができます。この方法により、ユーザーは静止画像でメイク効果を確認するだけでなく、動的な動画でメイクの変化をリアルタイムに体験することもできます。

さらに、SHMTの潜在拡散モデルは、顔表情認識やパーソナライズされた美容推薦など、他の分野にも拡張でき、ユーザー体験と満足度をさらに向上させます。