ReCamMaster: un marco para generar nuevas vistas y trayectorias de movimiento a partir de un único vídeo 131

¿Qué es ReCamMaster?

ReCamMaster es un marco de generación de vídeos con nuevos puntos de vista y trayectorias de movimiento a partir de un único vídeo, desarrollado conjuntamente por equipos de investigación de la Universidad de Zhejiang, Kuaishou Technology, la Universidad China de Hong Kong y la Universidad de Ciencia y Tecnología de Huazhong. Es capaz de generar contenido de vídeo con nuevos puntos de vista y trayectorias de movimiento a partir de un solo vídeo, redefiniendo la trayectoria de la cámara. El núcleo de esta tecnología reside en el uso de un modelo preentrenado de generación de vídeo a partir de texto, combinado con un mecanismo de condicionamiento de vídeo cuidadosamente diseñado, para lograr un re-renderizado de vídeo de alta calidad.

Características de ReCamMaster

• Control de la trayectoria de la cámara: admite trayectorias complejas como paneo, rotación y zoom, y permite al usuario definir el movimiento de la cámara.

• Generación de vídeo de alta calidad: mantiene la sincronización dinámica y la consistencia entre fotogramas del vídeo, generando contenido de alta calidad.

• Soporte de conjuntos de datos a gran escala: utiliza un conjunto de datos de vídeo sincronizado con múltiples cámaras construido con Unreal Engine 5, que cubre escenarios y movimientos de cámara diversificados.

• Mecanismo de condicionamiento de vídeo innovador: mejora significativamente la calidad del vídeo generado mediante una técnica de concatenación de condiciones a nivel de fotograma.

Escenarios de aplicación de ReCamMaster

• Estabilización de vídeo: convierte vídeos inestables en vídeos fluidos, conservando al mismo tiempo la escena y la acción originales.

• Superresolución y ampliación de vídeo: mejora la resolución del vídeo y amplía el campo de visión.

• Visión para conducción autónoma y robótica: proporciona aumento de datos con múltiples puntos de vista, mejorando la capacidad de generalización de los modelos.

• Creación de vídeo y postproducción: redefine la trayectoria de la cámara del vídeo para crear nuevos efectos visuales.

Cómo usar ReCamMaster

1. Introducir el vídeo: proporcione un vídeo de entrada con un único punto de vista.

2. Elegir la trayectoria: seleccione o personalice la trayectoria de la cámara (como paneo, rotación, zoom, etc.).

3. Generar el vídeo: el sistema generará un vídeo con el nuevo punto de vista según la trayectoria definida y enviará el resultado por correo electrónico.

4. Procesamiento por lotes: si necesita procesamiento por lotes o pruebas comparativas, puede ponerse en contacto con el equipo del proyecto (jianhongbai@zju.edu.cn).

Repositorio de GitHub:https://github.com/KwaiVGI/ReCamMaster

Página del proyecto:https://jianhongbai.github.io/ReCamMaster/

Paper:https://arxiv.org/abs/2503.11647