MuseSteamer : le modèle de génération vidéo IA développé par Baidu 203

MuseSteamer est un modèle de génération de vidéo publié par Baidu le 2 juillet 2025. Il est capable de générer simultanément des images, des effets sonores et des dialogues, et constitue le premier modèle à réaliser une génération intégrée audio-vidéo en chinois, changeant ainsi le modèle traditionnel de AIGC vidéo où l'image est générée avant le doublage. Baidu a également lancé simultanément la plateforme de création vidéo par IA « 绘想 ».

Fonctionnalités :

• Génération intégrée audio-vidéo : premier modèle vidéo au monde à réaliser une génération intégrée audio-vidéo en chinois, capable de créer de manière coordonnée des images, des effets sonores et des dialogues vocaux, brisant ainsi le processus traditionnel des vidéos AIGC consistant à « générer d'abord l'image, puis le doublage ».
  

• Entrée multimodale : prend en charge les invites textuelles en chinois, les images de référence et d'autres modes d'entrée.

• Génération vidéo : peut générer des vidéos dynamiques d'une durée allant jusqu'à 10 secondes, avec une excellente qualité d'image, un contrôle flexible des scènes, des actions et du langage cinématographique, et permettant une intégration audio-vidéo. Par exemple, les vidéos de style wuxia古装 générées présentent des mouvements et des expressions naturelles des personnages, ainsi qu'une caméra professionnelle.

• Génération intégrée : peut générer simultanément des images, des effets sonores et des dialogues, avec une correspondance naturelle entre le son et l'image, améliorant ainsi l'intégrité et l'expression artistique de la vidéo.

• Compréhension sémantique du chinois : compréhension précise de la sémantique chinoise, garantissant l'alignement sémantique entre les instructions textuelles et les éléments visuels grâce à l'optimisation du système de données.

• Langage de description vidéo : utilise un langage de description vidéo structuré et raffiné, couvrant les détails de l'image, la trajectoire des mouvements du sujet, les attributs de style et le langage cinématographique, garantissant le respect par le modèle des détails de l'image.

Avancées technologiques :

• Nettoyage de données multimodales en chinois à l'échelle du milliard : nettoyage en profondeur d'une grande quantité de données multimodales en chinois pour garantir la haute qualité des données d'entraînement.

• Langage de description vidéo structuré et raffiné : améliore la compréhension et la capacité de génération de contenu vidéo par le modèle.

• Apprentissage par renforcement multi-objectifs : optimise les parcours pour garantir l'amplitude des mouvements vidéo tout en maintenant une sortie stable et cohérente du contenu principal.

Gamme de produits et publics concernés :

• Version Lite : 720p, vitesse de génération rapide (30 secondes), prix abordable, adaptée aux utilisateurs recherchant un bon rapport qualité-prix.

• Version Turbo : 720p, spécialisée dans la génération de vidéos de personnages et d'animations, avec une bonne cohérence des mouvements, une grande amplitude de mouvement et des expressions naturelles, convient à la plupart des créateurs, déjà disponible sur la plateforme 绘想 et en bêta publique gratuite pour une durée limitée.

• Version Pro : 1080p, qualité d'image et mouvements de caméra de niveau cinématographique, grande expressivité, convient aux créateurs professionnels et aux institutions de production audiovisuelle.

• Version audio : prend en charge la génération intégrée d'effets sonores et de dialogues à toutes les résolutions, adaptée aux utilisateurs ayant des exigences élevées en matière de son synchronisé et d'image.

Scénarios d'application :

• Création vidéo : aide les créateurs à dépasser les blocages créatifs et à générer rapidement des vidéos de haute qualité.

• Production publicitaire : fournit une solution efficace pour la production de vidéos publicitaires, augmentant leur attractivité.

• Éducation et formation : génère des vidéos et des animations éducatives pour expliquer intuitivement des concepts complexes.

• Divertissement personnel : les utilisateurs peuvent générer des vidéos personnalisées en téléchargeant des images et partager leurs histoires personnelles.