StereoCrafter: framework de código abierto de Tencent para convertir vídeo 2D en 3D 133

StereoCrafter es un marco de código abierto desarrollado por el laboratorio de IA de Tencent que puede convertir vídeos 2D normales en vídeos estereoscópicos 3D inmersivos.

El marco de StereoCrafter consta de dos pasos principales: splatting de vídeo basado en profundidad y reparación de vídeo estéreo. En primer lugar, se extrae información de profundidad del vídeo de entrada de una sola vista mediante estimación de profundidad, y esta información se utiliza para la deformación del vídeo y la generación de máscaras de oclusión. A continuación, se utiliza un modelo de reparación de vídeo estéreo para rellenar las áreas vacías del vídeo deformado, sintetizando así el vídeo de la vista derecha. Este método no solo mejora la calidad del vídeo 3D generado, sino que también garantiza flexibilidad y adaptabilidad ante entradas de vídeo de distintas longitudes y resoluciones.

Además, StereoCrafter admite múltiples fuentes de vídeo, incluyendo películas, vlogs, animación 3D y contenido generado por IA (AIGC), lo que amplía aún más su ámbito de aplicación. El diseño de StereoCrafter tiene como objetivo satisfacer la creciente demanda de contenido 3D, especialmente en el campo de las experiencias inmersivas, proporcionando a los usuarios una experiencia visual más rica.

Las principales funciones de StereoCrafter:

• Conversión de vídeo: StereoCrafter puede convertir cualquier vídeo 2D en vídeo estereoscópico 3D de alta fidelidad, compatible con varios dispositivos de visualización, como gafas 3D y Apple Vision Pro, entre otros.

• Estimación de profundidad: StereoCrafter, mediante tecnología de estimación de profundidad, analiza la información de profundidad del vídeo para generar efectos 3D realistas.

• Reparación de vídeo: StereoCrafter también incluye una función de reparación de vídeo estéreo, capaz de gestionar oclusiones y otros problemas visuales del vídeo, garantizando una calidad alta y coherente del vídeo generado.

• Soporte de múltiples formatos: los vídeos generados se pueden exportar en formatos rojo-azul, VR o lado a lado, adaptándose a distintas necesidades de visualización y dispositivos.

• Alto rendimiento: StereoCrafter está optimizado para procesar vídeos de forma rápida.

Casos de uso de StereoCrafter

StereoCrafter es adecuado para múltiples fuentes de vídeo como películas, vlogs, animación 3D y vídeos AIGC, y puede presentar efectos estereoscópicos en dispositivos como gafas 3D, Apple Vision Pro y monitores 3D.

• Producción cinematográfica: en la producción de películas y vídeos, StereoCrafter puede ayudar a los creadores a convertir películas tradicionales en 2D a versiones en 3D.

• Vlogs y creación de contenido: los creadores de contenido pueden utilizar StereoCrafter para transformar sus contenidos de vídeo en 2D en 3D.

• Educación y formación: en el ámbito educativo, los vídeos estereoscópicos pueden ofrecer una experiencia de aprendizaje más inmersiva.

• Realidad virtual y realidad aumentada: los vídeos 3D generados por StereoCrafter se pueden utilizar en aplicaciones de VR y AR.

Pasos y métodos para realizar la conversión de vídeo con StereoCrafter:

1. Preparación

Antes de comenzar, asegúrate de tener lo siguiente:

• Material de vídeo monocular: elige el vídeo 2D que deseas convertir y asegúrate de que cumpla con los requisitos de calidad.

• Instalación del software: visita el sitio web oficial de StereoCrafter, descarga e instala el software o modelo necesario.

2. Estimación de profundidad

Utiliza la función de estimación de profundidad de StereoCrafter para generar la información de profundidad del vídeo. Este paso es clave para convertir un vídeo 2D en 3D. Los pasos específicos son los siguientes:

• Importa tu material de vídeo en StereoCrafter.

• Ejecuta el algoritmo de estimación de profundidad para generar los mapas de profundidad del vídeo. Estos mapas se utilizarán para la posterior reconstrucción 3D.

3. Reasignación del vídeo

Una vez obtenida la información de profundidad, se realiza la reasignación del vídeo:

• Remapea el vídeo basándote en la información de profundidad, extrayendo la información de oclusión mientras se realiza la transformación del vídeo.

• Este paso garantiza que las relaciones de oclusión de los objetos se gestionen correctamente durante el proceso de conversión.

4. Reparación del vídeo estéreo

Tras completar la reasignación, se lleva a cabo la reparación del vídeo estéreo:

• Utiliza un modelo de difusión de vídeo estable preentrenado para reparar el vídeo estéreo generado, garantizando la calidad y la coherencia del vídeo.

• Este paso puede eliminar los posibles artefactos y bordes discontinuos que puedan aparecer.

5. Salida y reproducción

• Por último, exporta el vídeo 3D generado:

• Elige el formato de salida adecuado (como rojo-azul, VR o lado a lado) para reproducirlo en distintos dispositivos de visualización 3D.

• Puedes reproducir el vídeo generado en dispositivos como Apple Vision Pro y disfrutar de una experiencia de visualización inmersiva.

Siguiendo estos pasos, puedes utilizar StereoCrafter para convertir con éxito vídeos 2D normales en vídeos estereoscópicos 3D de alta calidad.

Página del proyecto StereoCrafter:https://stereocrafter.github.io/

Repositorio de código en GitHub:https://github.com/TencentARC/StereoCrafter

Artículo técnico en ArXiv:https://arxiv.org/pdf/2409.07447