PIA：パーソナル画像アニメーター 209

PIAは、テキストから画像モデル内のプラグアンドプレイモジュールによって実現される、パーソナライズされた画像アニメーション手法であり、高い動きの制御可能性と強力なテキストおよび画像アラインメントを備えたビデオを生成できます。さまざまなパーソナライズされたT2Iモデルと互換性があり、特定の調整を必要としません。

提案されたPIAは、異なるテキストプロンプに従ってリアルな動きでアニメーション化しつつ、独特のスタイルと高忠実度のディテールを保持し、外観と動きの完璧なバランスを実現します。これにより、外観に関連する画像アラインメントの課題を軽減し、動きに関連するアラインメントに焦点を当てます。

PIAプロジェクトアドレス：https://pi-animator.github.io/

パーソナライズされたテキストから画像（T2I）モデルの最近の進歩はコンテンツ制作に革命をもたらし、専門家でなくてもユニークなスタイルを持つ素晴らしい画像を生成できるようになりました。雖然很有前途ですが、テキストを通じてリアルな動きをこれらのパーソナライズされた画像に追加することは、独特のスタイルの維持、高忠実度のディテール、およびテキストによる動きの制御可能性の面で大きな課題をもたらします。

本稿では、条件付き画像とのアラインメント、テキストによる動きの制御可能性、特定の調整を必要としないさまざまなパーソナライズされたT2Iモデルとの互換性に優れた、パーソナライズされた画像アニメーターであるPIAを紹介します。これらの目標を達成するために、PIAは学習済みの時間アラインメント層を備えたベースT2Iモデルに基づいて構築されており、任意のパーソナライズされたT2Iモデルを画像アニメーションシZーにシームレスに変換できます。

PIAの重要なコンポーネントのひとひとつは、条件モジュールです。これは条件付きフレームとフレーム間アフィニティを入力として利用し、アフィニティプロンプのガイダンスに基づいて外観情報を潜在空間に転送し、単一フレーム合成を可能にします。この設計により、内部の外観関連画像アラインメントの課題を軽減し、動き関連のアラインメントにより焦点を合わせることができます。

PIAの実現方法：

• 時間アラインメント層ベースのT2Iモデル：学習済みで、パーソナライズされたT2Iモデルを画像アニメーターに変換します。

• 条件モジュール：条件付きフレームとフレーム間関連を利用し、関連プロンプを通じて潜在空間で外観情報を転送し、フレーム合成をガイドします。

PIAの特徴：

• プラグアンドプレイで、テキストプロンプに応じたアニメーションを実現。

• 元のスタイルを保持し、高忠実度のディテールが損なわれない。

PIAは上海人工智能ラボによる貢献です。