UniVG : modèle de génération de vidéo développé par Baidu 171

Baidu UniVG est un système unifié de génération de vidéos IA vidéo, capable d'utiliser n'importe quelle combinaison de texte et d'image comme condition d'entrée pour la génération vidéo. Le système UniVG, conçu par l'équipe de Baidu, résout les limites des modèles de génération vidéo existants lorsqu'ils traitent une seule tâche ou un seul objectif.

Adresse open source d'UniVG :https://univg-baidu.github.io/

Principales fonctionnalités et caractéristiques d'UniVG :

• Génération vidéo à haute liberté : utilise un mécanisme d'attention croisée multi-conditions pour générer des vidéos sémantiquement cohérentes à partir des images ou du texte en entrée.

• Génération vidéo à faible liberté : introduit un bruit gaussien biaisé pour remplacer le bruit gaussien entièrement aléatoire, afin de mieux préserver le contenu des conditions d'entrée.

• Traitement multi-tâches : les modèles de génération vidéo au sein du système sont redivisés en deux catégories — génération à haute liberté et génération à faible liberté — chacune adaptée à différentes tâches de génération.

• Modèle de diffusion : basé sur une approche de génération vidéo par diffusion, ayant connu un succès remarquable dans les milieux académiques et industriels.

Scénarios d'application et avantages d'UniVG :

• Entrée flexible : les utilisateurs peuvent saisir de manière flexible des conditions d'image et de texte, utilisées seules ou ensemble, répondant aux exigences des scénarios d'application réels.

• Sortie de haute qualité : obtient le FVD (Fréchet Video Distance) le plus bas sur la base de données MSR-VTT, dépasse les méthodes open source actuelles lors des évaluations humaines, et est comparable à la méthode closed-source existante Gen2.

• Tâches diversifiées : prend en charge plusieurs tâches de génération vidéo, notamment texte-vers-vidéo, image-vers-vidéo, ainsi que la combinaison texte et image vers vidéo.

En tant qu'outil puissant, UniVG, en intégrant les entrées de texte et d'image, fait progresser la technologie de génération vidéo vers plus de flexibilité et de qualité, offrant de plus grandes perspectives de promotion dans de nombreux domaines tels que la création de contenu, la publicité et le divertissement.