MagicAvatar_云技派,专注ai人工智能! 128

MagicEdit est une méthode de montage vidéo publiée par ByteDance. Il s'agit d'un cadre multimodal, un cadre principalement axé sur la génération à partir d'entrées multimodales, capable de transformer différentes entrées telles que du texte, de la vidéo et de l'audio en signaux de mouvement, afin de générer et d'animer un personnage virtuel.

Concrètement, MagicAvatar peut créer un personnage virtuel à partir de simples invites textuelles, et peut également générer un personnage virtuel qui suit des mouvements donnés à partir d'une vidéo source. De plus, MagicAvatar peut animer un personnage virtuel sur un sujet spécifique. Il lancera également à l'avenir une fonctionnalité permettant de créer des personnages virtuels à partir d'entrées audio.

Contrairement à la génération directe de vidéos, MagicAvatar divise explicitement la génération vidéo en deux étapes :

(1) Des informations multimodales vers le mouvement ;

(2) Du mouvement vers la vidéo.

La première étape convertit les entrées multimodales en informations de mouvement (par exemple, la posture humaine, la profondeur, la densité), tandis que la deuxième étape génère une vidéo guidée par ces signaux de mouvement.

MagicAvatar génère des vidéos en fournissant simplement quelques images du personnage cible. Nous démontrons la flexibilité de MagicAvatar à travers diverses applications, notamment la génération d'avatars guidée par texte et par vidéo, ainsi que l'animation d'avatars multimodaux.

MagicEdit prend également en charge plusieurs applications d'édition, notamment la stylisation vidéo, l'édition locale, le mélange vidéo (Video-MagicMix et autres fonctions. La stylisation vidéo consiste à transformer une vidéo source en un style spécifique, créant ainsi de nouvelles scènes avec différents thèmes et arrière-plans, comme le réalisme, le dessin animé, etc.

MagicEdit offre aux utilisateurs un excellent outil d'édition texte-vers-vidéo. Les utilisateurs peuvent facilement modifier le style et la scène d'une vidéo, voire remplacer des objets dans la vidéo ou ajouter des éléments, simplement à l'aide d'invites en langage naturel, tout en conservant les mouvements et l'apparence de la vidéo originale. De plus, MagicEdit offre une fonctionnalité de mélange vidéo, permettant aux utilisateurs de créer des concepts entièrement nouveaux.

De plus, MagicAvatar prend également en charge le téléchargement par l'utilisateur d'images du personnage cible afin de générer des animations pour une personne spécifique, répondant ainsi à des besoins personnalisés.

Les projets vidéo d'IA de ByteDance, MagicAvatar et MagicEdit, démontrent un potentiel stupéfiant dans les domaines des entrées multimodales et de l'édition vidéo.