Vidu: el primer modelo de vídeo grande de China de larga duración, alta coherencia y alta dinámica 362

Vidu es un modelo de vídeo de gran escala desarrollado conjuntamente por Shengshu Technology y la Universidad de Tsinghua. Gracias a su innovadora arquitectura U-ViT, se ha convertido en el primer modelo de vídeo a gran escala en China que alcanza el nivel de Sora. Este modelo no solo presenta una primicia técnica a nivel mundial, sino que también demuestra la verificación de su escalabilidad a gran escala a través del modelo de código abierto UniDiffuser.

Vidu no solo es capaz de simular el mundo físico real, sino que también posee una imaginación rica, admitiendo la generación multicámara y una alta consistencia espacio-temporal. El modelo Vidu combina las tecnologías Diffusion y Transformer, desarrollando de forma innovadora la arquitectura U-ViT. Permite generar con un solo clic contenidos de vídeo en alta definición de hasta 16 segundos de duración y con una resolución de hasta 1080P.

Características y funciones de Vidu:

• Estructura del modelo:El modelo Vidu combina las tecnologías Diffusion y Transformer, desarrollando de forma innovadora la arquitectura U-ViT.

• Capacidad de generación de vídeo:Vidu permite generar con un solo clic contenidos de vídeo en alta definición de hasta 16 segundos de duración y con una resolución de hasta 1080P.

• Generación de 3D:A partir de una sencilla entrada de texto, genera imágenes de alta calidad, diversas y creativas. Llamada a la API de generación de imágenes | Experiencia en línea. A partir de entradas de texto o imagen, genera modelos 3D personalizados | Basándose en modelos 3D existentes, edita automáticamente las texturas y otros elementos.
  

• Demostración de aplicación práctica:En el material oficial, se muestra un ejemplo de vídeo cuyo contenido es "un barco en un estudio navega hacia la cámara",，展现了船和海浪的逼真效果。

• Funciones avanzadas:Vidu no solo es capaz de simular el mundo físico real, sino que también posee una imaginación rica, admitiendo la generación multicámara y una alta consistencia espacio-temporal.

Beijing Shengshu Technology Co., Ltd. (en adelante, "Shengshu Technology") se fundó en marzo de 2023. Los miembros clave de su equipo provienen del Instituto de Investigación en Inteligencia Artificial de la Universidad de Tsinghua. Además, reúne a talentos de primer nivel de reconocidas empresas tecnológicas como Alibaba, Tencent y ByteDance, siendo un equipo de investigación de algoritmos generativos profundos líder a nivel mundial, con capacidad de innovación y desarrollo en la tecnología subyacente de modelos probabilísticos de difusión. La compañía está dedicada a crear un modelo multimodal líder en el mundo, que integre información multimodal como texto, imagen, vídeo y 3D, explorando la habilitación comercial de la ia generativa en escenarios como el diseño artístico, la producción de videojuegos, la postproducción cinematográfica y el contenido social, mejorando la creatividad y la productividad humanas a través de la IA.