PortraitGen：マルチモーダルな人物ポートレート映像編集ツール 225

PortraitGenは中国科学技術大学が発表した革新的なAI人物像動画編集ツールです。2D人物像動画を4D効果にアップグレードすることができます。マルチモーダル編集に対応しており、わずか30分で動画中の人物の服装、表情、照明環境の変更を実現できます。PortraitGenには表情編集の滑らかさを向上させる顔認識編集モジュールも搭載されています。ユーザーは動画と参照画像を入力するだけで、簡単にテキストによる人物効果の変更を行うことができます。

PortraitGenの主な特徴：

• 高速編集：PortraitGenはわずか30分で動画編集を完了でき、編集後の3D肖像は毎秒100フレームのスムーズな再生をサポートします。

• マルチモーダル入力：ユーザーはテキスト、画像、または3Dモデルによる入力で編集が可能で、テキスト駆動や画像駆動のスタイル編集など、複数の編集方法をサポートします。

• 顔認識編集モジュール：このモジュールは表情の品質向上と個性的な顔の特徴の保持を目的としており、編集効果をより自然で繊細にします。

• 照明調整：ユーザーは提供された照明の説明に基づいて動画フレームの照明を調整でき、動画全体をより調和のとれた美しいものにします。

• 技術的優位性：PortraitGenはニューラルガウシアンテクスチャ技術を採用しており、従来の球面調和係数とは異なり、各ガウス点に学習可能な特徴を保存することで、より豊富な編集効果を実現します。

• 高フレームレート：編集後の動画は毎秒100フレームのスムーズな再生をサポートします。
  

• 服装変更効果：スタイル転送とバーチャル試着によって実現されます。
  

PortraitGenの技術詳細：

• SMPL-X係数：単眼動画トラッキングに使用。

• ニューラルガウシアンテクスチャ：3Dガウシアン特徴場の構築。

• 顔認識編集：表情品質の向上と個性的な顔構造の保持。

• スタイル転送：画像駆動編集に使用。

• InstructPix2Pix：テキスト駆動編集に使用。

PortraitGenの使用シーン：

• 映像制作：高品質な人物像動画を迅速に生成。

• 広告業界：動画スタイルを柔軟に変更。

• ソーシャルメディア：個別化された動画コンテンツ作成。

• 教育研修：教学ビデオの作成。

• バーチャル試着：ファッション業界での応用。

PortraitGenは中国科学技術大学の研究チームによって開発された先進的なAI人物像動画編集ツールであり、2024年9月23日にArxivを通じて発表されました。PortraitGenはテキスト指示や参照画像によって動画中の人物の外観を修正し、服装変更、照明効果の調整、人物特徴の変更など、マルチモーダル編集機能を実現します。

PortraitGenの取得方法：

プロジェクトアドレス：https://ustc3dv.github.io/PortraitGen

Githubアドレス：https://github.com/USTC3DV/PortraitGen-code

論文アドレス：https://arxiv.org/abs/2409.13591