Les modèles de génération vidéo PixelDance et Seaweed de ByteDance désormais disponibles sur Jimeng AI 206

Le 15 novembre 2024, les deux modèles de génération vidéo de ByteDance, PixelDance et Seaweed, ont été officiellement lancés sur la plateforme Jimeng AI. Actuellement, la version web et l'application mobile prennent toutes deux en charge l'utilisation de ces deux modèles, qui sont désormais accessibles gratuitement au public. Les utilisateurs peuvent découvrir cette fonctionnalité via la section « génération vidéo » de Jimeng ai.

Le modèle PixelDance prend en charge la génération vidéo à partir de texte et la génération vidéo à partir d'image, capable de produire des clips vidéo de haute qualité d'une durée allant jusqu'à 10 secondes. Les mouvements des personnages atteignent un réalisme proche de la photographie, surpassant les limites du modèle Sora d'OpenAI en termes de représentation des mouvements complexes. Le modèle Seaweed, quant à lui, fait preuve d'une excellente cohérence de la première image dans les scénarios de génération vidéo à partir d'image, en maintenant la conformité avec l'image fournie par l'utilisateur. Il se distingue également par sa grande efficacité de génération : il ne faut que 60 secondes pour produire une vidéo de haute qualité de 5 secondes, loin devant la norme du secteur en Chine qui se situe entre 3 et 5 minutes.

Fonctionnalités des modèles

• Fonctionnalités de PixelDance : capable de générer des effets spéciaux dignes de la magie, particulièrement adapté à l'utilisation de techniques telles que les prompts temporels et les longs plans.

• Fonctionnalités de Seaweed : fait preuve d'une excellente cohérence de la première image dans les scénarios de génération vidéo à partir d'image, en préservant la conformité et en restituant fidèlement les détails tels que les couleurs par rapport à l'image fournie par l'utilisateur.

• Changements de plan : pour la génération de vidéos de 10 secondes, PixelDance obtient les meilleurs résultats avec 3 à 5 changements de plan, tout en maintenant une excellente cohérence des scènes et des personnages.

• Effets visuels : le modèle Seaweed permet des mouvements de grande amplitude fluides et naturels, avec un rendu réaliste.

• Description des prompts : grâce à des descriptions de prompts progressives et de faible amplitude, PixelDance peut générer des effets spéciaux dignes de la magie.

Cas d'utilisation

• Domaine du design : les deux modèles peuvent être appliqués au domaine du design, aidant les créateurs à réaliser des œuvres plus créatives.

• Production cinématographique et télévisuelle : dans la production audiovisuelle, ces modèles peuvent être utilisés pour générer des effets spéciaux et des scènes complexes.

• Création d'animation : les modèles prennent en charge la création d'animations et permettent de générer des effets animés fluides et naturels.

• Création professionnelle : perfectionnés grâce à des cas d'usage métier tels que Jianying et Jimeng AI, les modèles répondent mieux aux besoins des créateurs professionnels et des artistes.

• Création narrative : les fonctionnalités offertes par la plateforme Jimeng AI facilitent la création d'histoires et améliorent l'efficacité créative.

La sortie de ces deux modèles, en particulier PixelDance, témoigne de la maturité de ByteDance dans la technologie de génération vidéo, atteignant un niveau de pointe dans le secteur, notamment en matière de compréhension sémantique, de traitement des mouvements des personnages et de cohérence lors des changements de plans multiples.