AnchorCrafter : outil IA pour vidéos e-commerce avec présentateurs virtuels, développé par l'Institut d'informatique de l'Académie chinoise des sciences et Tencent 117

AnchorCrafter est un outil révolutionnaire de vente en direct par présentateur virtuelIA, développé conjointement par l'Académie chinoise des sciences et Tencent. Grâce à une technologie d'IA avancée, il est capable de générer des vidéos promotionnelles naturelles et fluides, améliorant considérablement la qualité et l'efficacité de la production vidéo pour le e-commerce.

Qu'est-ce qu'AnchorCrafter ?

AnchorCrafter est un système basé sur la diffusion qui intègre l'interaction homme-objet (Human-Object Interaction, HOI) dans la génération de vidéos humaines guidée par la pose, créant automatiquement des vidéos promotionnelles de produits de type « ancre » d'une grande fidélité.

Points forts technologiques d'AnchorCrafter :

• Modélisation de l'interaction homme-objet : AnchorCrafter ne se contente pas d'animer un mannequin virtuel présentant un produit, il capture et contrôle également avec précision les détails de l'interaction entre la personne et le produit, comme le contact entre la main et l'article, générant ainsi un contenu vidéo plus naturel et réaliste.

• Effets visuels de haute qualité : grâce à la technologie de perception d'apparence HOI, le système fusionne les caractéristiques d'images de produits sous plusieurs angles, garantissant un rendu précis des détails d'apparence du produit dans la vidéo. Il utilise également une architecture de réseau découplée pour distinguer et optimiser l'apparence de la personne et celle de l'objet, améliorant ainsi la fidélité visuelle.

• Utilisation efficace des données d'entraînement : malgré un jeu de données d'entraînement relativement restreint (44 vidéos web et 307 vidéos auto-collectées), AnchorCrafter parvient, grâce à une stratégie d'entraînement efficace, à produire des résultats satisfaisants avec des ressources limitées (par exemple, 4 GPU A100, 40 000 étapes d'entraînement, longueur de 6 images par image), démontrant ainsi l'efficacité et la robustesse de son algorithme.

• Perte avec repondération des régions HOI : afin de renforcer l'apprentissage par le modèle des interactions main-objet, le système adopte une fonction de perte spécifique qui augmente le poids des pertes sur les zones de la main et de l'objet, garantissant la précision et le naturel de la partie interactive.

Principes techniques d'AnchorCrafter

• Modèle de diffusion vidéo : utilisation d'un Unet de diffusion et d'un autoencodeur variationnel (VAE) pour traiter les images vidéo, en encodant les séquences vidéo dans un espace latent afin de générer des sorties de haute qualité.

• Perception d'apparence HOI : extraction des caractéristiques d'apparence de l'humain et de l'objet, puis intégration dans le réseau principal pour le contrôle de l'apparence. Des images de référence de l'objet sous plusieurs angles sont utilisées pour renforcer la reconnaissance de l'apparence de l'objet.

• Injection de mouvement HOI : injection de séquences de mouvement humain pour contrôler le mouvement de l'objet et résoudre les problèmes de conditionnement de trajectoire et de gestion des occlusions, en utilisant la carte de profondeur comme entrée pour maintenir la clarté et la cohérence du mouvement.

• Perte avec repondération des régions HOI : application d'un poids d'entraînement plus élevé sur les zones interactives pour renforcer l'apprentissage par le modèle des détails de l'objet, améliorant ainsi la qualité et le réalisme de la vidéo générée.

Principales utilisations d'AnchorCrafter

• Production vidéo e-commerce : AnchorCrafter peut générer des vidéos promotionnelles naturelles et fluides à partir des images de personnage fournies par l'utilisateur et des produits à mettre en avant, aidant ainsi les entreprises e-commerce à produire facilement des vidéos marketing de haute qualité.

• Promotion de produits : en fusionnant personnage et produit, il crée des vidéos promotionnelles attrayantes qui renforcent la compétitivité du produit sur le marché.

Avantages d'AnchorCrafter

• Qualité d'image et naturel des mouvements : les vidéos de vente en direct par présentateur virtuel générées par AnchorCrafter atteignent un niveau de référence dans l'industrie en termes de qualité d'image et de naturel des mouvements, pouvant même rivaliser avec de vrais présentateurs.

• Efficacité : il suffit à l'utilisateur de fournir de simples images et informations produit pour générer rapidement des vidéos promotionnelles de haute qualité, ce qui permet d'économiser considérablement du temps et des coûts.

Étapes d'utilisation d'AnchorCrafter :

• Préparer les éléments : fournir une photo du présentateur. Fournir les photos des produits à présenter.

• Choisir le présentateur : sélectionner parmi de nombreux présentateurs en ligne celui que vous préférez, puis « cloner » son apparence dans le monde virtuel grâce à la technologie IA.

• Générer la vidéo : AnchorCrafter génère automatiquement une vidéo promotionnelle captivante, incluant les mouvements et expressions du présentateur ainsi que ses interactions avec le produit.

• Contrôle précis : concevoir, selon vos besoins, diverses actions interactives pour permettre une fusion parfaite entre le présentateur et le produit.

• Exporter la vidéo : une fois la génération terminée, exporter une vidéo de haute qualité destinée à la promotion sur les plateformes e-commerce.

AnchorCrafter est particulièrement adapté aux plateformes e-commerce. Il permet de générer rapidement des vidéos promotionnelles, renforce l'attrait de la présentation produit, augmente le potentiel de vente, tout en réduisant la dépendance aux présentateurs réels et en diminuant les coûts de production.