Vidu : le premier grand modèle vidéo chinois à longue durée, haute cohérence et haute dynamique 365

Vidu est un grand modèle de vidéo développé par Shengshu Technology en collaboration avec l'Université Tsinghua. Grâce à son architecture innovante U-ViT, il est devenu le premier grand modèle vidéo en Chine à atteindre le niveau de Sora. Ce modèle présente non seulement une首创 mondiale sur le plan technologique, mais démontre également la validation de son évolutivité à grande échelle grâce au modèle open source UniDiffuser.

Vidu est capable non seulement de simuler le monde physique réel, mais possède également une imagination riche, prenant en charge la génération multi-plans et une cohérence spatio-temporelle élevée. Le modèle Vidu combine les technologies Diffusion et Transformer et a développé de manière innovante l'architecture U-ViT. Il peut générer en un clic du contenu vidéo haute définition d'une durée pouvant aller jusqu'à 16 secondes et d'une résolution atteignant 1080P.

Caractéristiques et fonctionnalités de Vidu :

• Architecture du modèle :Le modèle Vidu combine les technologies Diffusion et Transformer et a développé de manière innovante l'architecture U-ViT.

• Capacité de génération vidéo :Vidu peut générer en un clic du contenu vidéo haute définition d'une durée pouvant aller jusqu'à 16 secondes et d'une résolution atteignant 1080P.

• Génération 3D :À partir d'une simple saisie de texte, génération d'images de haute qualité, diversifiées et créatives. Appel d'API de génération d'images. Expérience en ligne. Génération de modèles 3D personnalisés à partir d'entrées textuelles ou d'images | Édition automatisée des textures, etc., à partir de modèles 3D existants.
  

• Démonstration d'application pratique :Dans les documents officiels, un exemple vidéo est présenté, dont le contenu est « un bateau dans un atelier naviguant vers la caméra », montrant les effets réalistes du bateau et des vagues.

• Fonctionnalités avancées :Vidu est capable non seulement de simuler le monde physique réel, mais possède également une imagination riche, prenant en charge la génération multi-plans et une cohérence spatio-temporelle élevée.

Beijing Shengshu Technology Co., Ltd. (ci-après dénommée « Shengshu Technology ») a été fondée en mars 2023. Les membres clés de l'équipe proviennent de l'Institut de recherche sur l'intelligence artificielle de l'Université Tsinghua. De plus, l'équipe rassemble des talents de premier plan issus d'entreprises technologiques renommées telles qu'Alibaba, Tencent et ByteDance, formant ainsi une équipe de recherche de pointe à l'échelle mondiale dans le domaine des algorithmes génératifs profonds, dotée de capacités d'innovation fondamentale dans le développement des modèles probabilistes de diffusion. L'entreprise s'engage à créer un grand modèle multimodal de premier plan mondial, intégrant des informations multimodales telles que le texte, l'image, la vidéo et la 3D, afin d'explorer les possibilités de l'IA générative dans des scénarios tels que la conception artistique, la production de jeux, le post-production audiovisuel et le contenu social, et d'améliorer la créativité et la productivité humaines grâce à l'IA.