SketchVideo: método de generación y edición de vídeo controlable basado en bocetos 72

小编 · 2025-05-21

SketchVideo es un proyecto de código abierto para la generación y edición de vídeo controlable basado en bocetos, propuesto por investigadores de UCAS, HKUST y el equipo de Kuaishou Kling. Gracias a la predicción inteligente de movimiento, el control multimodal y el renderizado en tiempo real, facilita la creación de animaciones. Es útil en marketing, educación y exhibiciones creativas personales, y representa una forma emergente de contenido en vídeo.

SketchVideo: método de generación y edición de vídeo controlable basado en bocetos

¿Qué es SketchVideo?

SketchVideo es un proyecto de código abierto de un método de generación y edición de video controlable basado en bocetos, propuesto por investigadores de la Universidad de la Academia China de Ciencias, la Universidad de Ciencia y Tecnología de Hong Kong y el equipo Kling de Kuaishou. Se basa en tres tecnologías principales: predicción inteligente de movimiento, control multimodal y renderizado en tiempo real, lo que facilita la creación de animaciones. Este proyecto resulta muy útil en áreas como marketing, educación y presentaciones creativas personales, ya que permite atraer al público y generar empatía, siendo un representante de las nuevas formas de video.

SketchVideo: un método de generación y edición de video controlable basado en bocetos.webp

Características de SketchVideo

Generación de video: los usuarios solo necesitan proporcionar un boceto de uno o dos fotogramas, junto con indicaciones de texto, y SketchVideo puede generar videos de alta calidad. Por ejemplo, al dibujar un contorno simple de un animal y añadir la descripción textual "corriendo por el bosque", se puede generar un video de ese animal corriendo por el bosque.
Edición de video: dado un video real, los usuarios pueden especificar el área a editar y dibujar bocetos para realizar modificaciones locales. Por ejemplo, en un video de una persona, se puede modificar el peinado; el nuevo peinado generado cambiará de forma natural siguiendo el movimiento de la cabeza de la persona.
Control dinámico: admite interpolación y extrapolación de movimiento, lo que permite a los usuarios controlar el estado de movimiento de un objeto dibujando bocetos en diferentes fotogramas clave.
Preservación de detalles: al editar un video, puede preservar los detalles de las áreas no modificadas, asegurando que el video editado luzca natural y coherente visualmente.
Generación eficiente: emplea técnicas de optimización de memoria para generar rápidamente videos de alta calidad. Por ejemplo, el modelo SketchGen genera un solo fotograma de video en aproximadamente 95 segundos en una GPU A100.

Principio técnico de SketchVideo

Red de condicionamiento por boceto: basada en el modelo de generación de video DiT, se diseña una red específica de condicionamiento por boceto. Esta red incluye varios bloques de control por boceto, predice las características residuales de los bloques DiT omitidos e inyecta las señales de control en las características de diferentes niveles.
Mecanismo de atención entre fotogramas: al calcular la relación entre las características ocultas de todos los fotogramas y las características ocultas de los fotogramas de control, propaga las condiciones del boceto en los fotogramas clave a todos los fotogramas del video, logrando una propagación espacio-temporal de las características del boceto.
Módulo de inserción de video: en las tareas de edición de video, este módulo analiza la relación entre el boceto de entrada y el video original, generando nuevo contenido que es espacial y temporalmente coherente con el video original.
Técnica de fusión latente: durante el proceso de inferencia, se generan los códigos latentes de ruido del video de entrada mediante la inversión DDIM. En las áreas no editadas, estos códigos latentes se reemplazan para preservar los detalles del video original.
Estrategia de entrenamiento híbrido: combina datos de imágenes y video para el entrenamiento. Primero se usan datos de imágenes y video para acelerar la convergencia y resolver el problema de la limitación de datos de video; luego, se usan datos de video para optimizar aún más la coherencia temporal.

Ventajas de SketchVideo

Reduce la barrera de creación: permite a usuarios comunes crear videos fácilmente mediante bocetos y texto, sin necesidad de conocimientos o habilidades profesionales, estimulando el potencial creativo de cada persona.
Control preciso de detalles: a través de la red de condicionamiento por boceto, predice e inyecta señales de control en características de diferentes niveles, lo que permite representar con detalle cada aspecto, desde la forma y posición de los objetos hasta la composición general de la escena.
Eficiencia y conveniencia: adopta un modelo de generación de video basado en DiT e incorpora de forma innovadora bloques de control por boceto y un mecanismo de atención entre fotogramas, garantizando una salida de alta calidad mientras logra una optimización de memoria eficiente, generando videos rápidamente y ahorrando tiempo de creación.

Escenarios de aplicación de SketchVideo

Producción audiovisual: se puede utilizar para generar rápidamente videos animados, o para añadir efectos especiales y modificar escenas en fragmentos audiovisuales.
Síntesis de videos cortos: los creadores pueden producir fácilmente contenido personalizado de videos cortos, como historias animadas con estilo dibujado a mano o anuncios creativos.
Simulación virtual: en la construcción de escenas virtuales, permite generar rápidamente entornos virtuales dinámicos mediante bocetos, aplicables al desarrollo de videojuegos, la formación virtual y otros campos.