Le modèle OmniHuman de ByteDance en test interne sur Jimeng 208

ByteDance a lancé son modèle OmniHuman qui est déjà en phase de test bêta sur Jimeng AI. Ce modèle utilise une toute nouvelle technologie de génération vidéo multimodale. Il suffit à l'utilisateur de saisir une image et un clip audio pour générer une animation vidéo très réaliste d'une personne réelle, couvrant aussi bien les expressions du visage que les mouvements du corps entier, qu'il s'agisse de parler, de chanter, de danser, etc.

Fonctionnalités principales du modèle OmniHuman :

• Génération vidéo : capable de transformer une seule photo d'entrée en une vidéo dynamique réaliste du corps entier, et permet également aux humains numériques d'exécuter toute une gamme de mouvements naturels tels que parler et chanter.

• Entrée multimodale : prend en charge simultanément des images de différentes tailles, telles que des portraits, des半身 et des corps entiers, combinées au contenu audio, avec de bons résultats d'entraînement des données, capable de générer des vidéos d'animation de haute qualité.

Le modèle OmniHuman prend non seulement en charge la génération de vidéos de portraits et de corps entier, mais donne également des résultats satisfaisants pour différents types d'images, telles que les anime et les images non réelles en 3D cartoon, etc. La personne responsable de Jimeng AI a déclaré que, bien qu'OmniHuman ait déjà montré de bons résultats, il reste encore une marge d'amélioration dans la génération de vidéos de niveau de réalité cinématographique. OmniHuman sera également progressivement ouvert à l'utilisation, et fait actuellement l'objet d'un test bêta à petite échelle, avec un mécanisme strict d'examen de sécurité en place.

Où trouver OmniHuman ?

Connectez-vous à Jimeng AI, puis sélectionnez Génération vidéo dans la barre latérale gauche.

Je suis en cours de candidature pour le test bêta... mais certains utilisateurs disent que le synchronisation labiale n'est pas très bonne, tandis que d'autres disent que c'est génial.