AnchorCrafter：中国科学院とTencentが共同開発したAIバーチャル主播带货ツール 121

計算所、美団、Tencentなどの機関が共同開発した、EC向けに設計されたツール。主播スタイルのAIバーチャル主播による带货動画を自動生成する。

#Ai工具箱 #Ai开源项目

AnchorCrafter：中国科学院とTencentが共同開発したAIバーチャル主播带货ツール紹介

AnchorCrafterは、中国科学院とテンセントが共同で開発したAI仮想主播带货（ライブコマース）ツールであり、先進的なAI技術を活用して自然でスムーズな带货動画を生成し、EC動画制作の品質と効率を大幅に向上させます。

AnchorCrafterとは？

AnchorCrafterは拡散モデルに基づくシステムであり、人間と物体のインタラクション（Human-Object Interaction, HOI）を姿勢誘導型の人間動画生成に統合することで、高 fidelity のアンカー型商品プロモーション動画を自動生成します。

AnchorCrafter技術ハイライト.webp

AnchorCrafterの技術ハイライト：

人物-物体インタラクションモデリング：AnchorCrafterは、バーチャルモデルに商品を演示させるだけでなく、手と商品の接触など、人と商品のインタラクションの詳細を正確に捉え、制御することで、より自然でリアルな動画コンテンツを生成します。
高品質なビジュアル効果：HOI-appearance perception技術により、複数視点の商品画像特徴を統合し、動画内の商品の外観ディテールを正確に再現します。また、人物と物体の外観を区別・最適化するディネーションサンプリングネットワーク構造を採用し、ビジュアル fidelity を向上させます。
学習データの効率的な活用：学習データセットが比較的小規模（44本のネット動画と307本の自社収集動画）であるにもかかわらず、AnchorCrafterは効率的な学習戦略により、限られたリソース下（例：4基のA100 GPU、4万ステップの学習、各フレーム6フレーム長）でも満足できる成果を出し、アルゴリズムの高い効率性と堅牢性を示しています。
HOI-region重み付け損失：モデルが手と物体のインタラクションをより強く学習するため、システムでは特定の損失関数を採用し、手と物体の領域の損失に対して重み付けを強化し、インタラクション部分の正確性と自然さを保証しています。

AnchorCrafterの技術原理

動画拡散モデル：拡散Unetと変分オートエンコーダ（VAE）を使用して動画フレームを処理し、動画シーケンスを潜在空間にエンコードすることで高品質な出力を生成します。
HOI-外観認識：人間と物体の外観特徴を抽出し、メインモデルに統合することで外観制御を実現し、複数視点の物体参照画像を使用して物体外観の認識能力を強化します。
HOI-動作注入：人間の動作系列を注入することで物体の動きを制御し、物体の軌跡条件とオクルージョン管理の問題を解決します。深度マップを入力として利用して動作の明瞭性と一貫性を保ちます。
HOI領域重み付け損失：インタラクション領域により高い学習重みを適用することで、モデルが物体のディテールを学習する能力を強化し、最終的に生成される動画の品質とリアリティを向上させます。

AnchorCrafterの主な用途

EC動画制作：AnchorCrafterは、ユーザーが提供するキャラクター画像とプロモーション商品から自然で流れるような带货動画を生成し、EC企業が簡単に高品質なマーケティング動画を作成できるようにします。
商品プロモーション：人物と商品を融合させることで、魅力的な商品プロモーション動画を作成し、製品の市場競争力を向上させます。

AnchorCrafterの優位性

画質と動作の自然さ：AnchorCrafterが生成するバーチャル主播带货動画は、画質と動作の自然さにおいて業界トップレベルに達しており、リアルな人間主播と比較しても引けを取りません。
高い効率性：ユーザーが簡単な画像と商品情報を提供するだけで、高品質な带货動画を迅速に生成でき、時間とコストを大幅に節約できます。

AnchorCrafterの使用手順：