OmniHuman : framework multimodal de bout en bout pour la génération de vidéos de personnages numériques 191

OmniHuman est un framework de génération de vidéo de personnages numériques multimodale basé sur un Transformer de diffusion, développé par ByteDance. Il suffit d'une seule photo et d'un extrait audio pour générer une vidéo, et les mouvements, la synchronisation labiale et les expressions sont proches de la perfection.

Le framework OmniHuman étend l'échelle des données en mélangeant les conditions liées au mouvement lors de la phase d'entraînement. Le cœur de ce framework réside dans sa capacité à traiter plusieurs modalités d'entrée, afin de générer des vidéos de personnages numériques plus réalistes et naturelles.

Caractéristiques clés d'OmniHuman

• Entrée multimodale : OmniHuman prend en charge plusieurs formes d'entrée, notamment le texte, l'audio et la vidéo, ce qui permet aux personnages numériques générés d'exprimer des émotions et des mouvements plus riches dans différentes scènes, en fusionnant des données de modalités différentes et en surmontant le goulot d'étranglement lié à la rareté des données de haute qualité.

• Extension de l'échelle des données : en introduisant des conditions liées au mouvement, OmniHuman peut étendre efficacement l'ensemble de données pendant le processus d'entraînement, améliorant ainsi la capacité de généralisation et l'expressivité du modèle génératif.

• Sortie de haute qualité : ce framework s'appuie sur des techniques avancées d'apprentissage profond pour générer des vidéos de personnages numériques de haute qualité. Il prend en charge non seulement les personnages réels, mais aussi les personnages en 3D et les personnages d'anime, et convient à de nombreux domaines tels que le streaming en direct, le divertissement et l'éducation.

• Génération en temps réel : OmniHuman dispose également d'une capacité de génération en temps réel, permettant aux utilisateurs d'obtenir instantanément un retour et une performance du personnage numérique dans des scénarios interactifs.

OmniHuman prend également en charge plusieurs modes de pilotage, notamment le pilotage par audio, le pilotage par vidéo et les signaux de pilotage combinés, offrant ainsi une plus grande flexibilité aux utilisateurs en termes d'entrée. De plus, OmniHuman est capable de gérer les interactions entre le corps humain et les objets ainsi que les postures corporelles difficiles, améliorant encore le réalisme et l'expressivité des vidéos générées. La philosophie de conception du framework OmniHuman est d'exploiter pleinement la génération de mouvements basée sur les données, pour aboutir finalement à une génération de vidéo humaine extrêmement réaliste. Par rapport aux méthodes existantes de bout en bout pilotées par audio, OmniHuman produit non seulement des vidéos plus réalistes, mais offre également une plus grande flexibilité en termes d'entrée. Des échantillons vidéo sont disponibles sur la page du projet ttfamily, illustrant ses effets d'application dans différents scénarios.

Scénarios d'application d'OmniHuman

• Présentateur virtuel : sur les plateformes de streaming en direct, OmniHuman peut générer des présentateurs virtuels offrant une interaction en temps réel et du contenu de divertissement.

• Éducation et formation : en générant des enseignants virtuels, OmniHuman peut offrir une expérience d'apprentissage personnalisée dans l'éducation en ligne.

• Développement de jeux : dans les jeux vidéo, les personnages virtuels peuvent être générés via OmniHuman, renforçant ainsi l'immersion et l'interactivité du jeu.

Adresse du projet OmniHuman :https://omnihuman-lab.github.io