Boximator: generación de movimientos ricos y controlables para síntesis de video 297

Boximator es una herramienta de vídeo desarrollada por ByteDance que permite a los usuarios controlar la trayectoria de movimiento de los sujetos en los vídeos generados mediante operaciones sencillas. Los objetos se moverán siguiendo estrictamente la posición y la ruta dibujadas por el usuario. La innovación de esta herramienta radica en su forma de interacción intuitiva: puedes seleccionar el objeto que deseas mover y, a continuación, dibujar la posición final y la ruta de movimiento, y se desplazará siguiendo de manera precisa la posición y la ruta que hayas dibujado. En comparación con el pincel de movimiento de Runway, Boximator permite un control más preciso sobre la posición final del movimiento de los objetos.

Paper de Boximator: https://arxiv.org/abs/2402.01566

Demostración de Boximator: https://boximator.github.io/#Demo

Proyecto de Boximator: https://boximator.github.io/

Funciones principales de Boximator:

• Control de trayectoria: los usuarios pueden definir de forma sencilla e intuitiva la trayectoria de movimiento del sujeto en el vídeo mediante selección con recuadros.

• Soporte de múltiples sujetos: Boximator permite a los usuarios seleccionar varios sujetos al mismo tiempo y establecer distintas rutas de movimiento para cada uno.

• Personalización de rutas: además del movimiento básico de un punto a otro, los usuarios también pueden definir rutas concretas para los sujetos del vídeo.

• Compatibilidad con plugins: Boximator es compatible con los modelos de vídeo SD y puede utilizarse como plugin, lo que aumenta la flexibilidad y la versatilidad de la edición de vídeo.

• Fácil de usar: Boximator es sencillo e intuitivo de manejar, por lo que los usuarios pueden manejar el contenido del vídeo sin conocimientos complejos de edición de vídeo.
  

• Alta compatibilidad: es compatible con los populares modelos de vídeo SD actuales y puede emplearse como plugin, ofreciendo un abanico más amplio de posibilidades de aplicación.

• Interacción innovadora: la innovadora interacción mediante selección con recuadro hace que la edición de vídeo sea más intuitiva y cómoda.

Escenarios de aplicación de Boximator:

• Creación de contenido de vídeo: para los creadores de vídeo, Boximator ofrece un nuevo medio para producir vídeos dinámicos.

• Creación de animaciones: para los animadores, permite simplificar el proceso de diseño de las trayectorias de movimiento de personajes u objetos.

• Demostraciones educativas: en el ámbito educativo, los profesores pueden utilizar esta herramienta para crear materiales didácticos dinámicos e intuitivos.

Uso de Boximator:

El método publicado por ByteDance consiste en, primero, rodear con un recuadro el sujeto de la imagen y, a continuación, rodear la posición a la que se desea mover, para generar un vídeo en el que el sujeto se desplaza desde el punto de inicio hasta el punto final. Permite establecer rutas de movimiento y seleccionar varios sujetos con recuadros. Es compatible con los modelos de vídeo SD y puede emplearse como plugin.

Introducción a Boximator:

Proponemos Boximator, un nuevo método para el control preciso del movimiento. Boximator emplea dos mecanismos de restricción: restricción dura (hard box) y restricción blanda (soft box).

Los usuarios pueden utilizar la restricción dura para seleccionar un objeto específico de un fotograma del vídeo (denominado fotograma de condición) y, a continuación, especificar de forma aproximada o estricta la posición, la forma o la trayectoria de movimiento de dicho objeto en los fotogramas futuros mediante estos dos tipos de restricción. Boximator puede añadirse como un componente adicional a los modelos de síntesis de vídeo existentes. Durante el entrenamiento, con el fin de preservar el conocimiento del modelo original, optamos por congelar los pesos originales y entrenar únicamente el módulo de control.

Para abordar los retos que surgen durante el entrenamiento, hemos introducido una innovadora técnica de auto-seguimiento, lo que simplifica enormemente el proceso de asociar los objetos seleccionados con sus correspondientes referencias.

Los experimentos han demostrado que Boximator alcanza un nivel de referencia en la industria en cuanto a calidad de vídeo (es decir, FVD, un estándar de evaluación de la calidad de vídeo), mejorando con respecto a los dos modelos base y potenciando aún más los resultados al incorporar las restricciones de selección con recuadro. Su potente capacidad de control de movimiento se ha verificado mediante una mejora significativa en las métricas de alineación de cuadros delimitadores.

La evaluación también muestra que los usuarios se decantan por los efectos de vídeo generados por Boximator frente a los resultados de los modelos base.