LiveSketch_云技派,专注ai人工智能! 156

LiveSketch es una herramienta de IA que genera vídeos, mediante la cual los usuarios pueden transformar bocetos estáticos en animaciones a través de indicaciones de texto, ofreciendo un método sencillo e intuitivo para dar vida a sus dibujos. Ya sea para contar historias, ilustraciones, diseño web o presentaciones, LiveSketch puede dotar de vida los bocetos estáticos, haciéndolos más ricos e interesantes.

Con solo una breve indicación de texto, LiveSketch puede convertir unos pocos garabatos en animaciones SVG vívidas y realistas, fáciles de editar y ajustar, permitiendo controlar el movimiento y la amplitud de la animación mediante texto.

El boceto es una de las herramientas más intuitivas y versátiles que utilizan los seres humanos para transmitir sus ideas de forma visual. Los bocetos animados abren otra dimensión en la expresión de ideas y son ampliamente utilizados por los diseñadores para diversos fines.

La animación de bocetos es un proceso laborioso que requiere amplia experiencia y habilidades profesionales de diseño. En este trabajo, proponemos un método para LiveSketch que permite añadir automáticamente movimiento a bocetos de un solo tema, simplemente proporcionando una indicación de texto que describa el movimiento deseado (de ahí, "darle vida"). La salida consiste en una breve animación en formato vectorial que se puede editar fácilmente en LiveSketch.

Nuestro método no requiere un entrenamiento extenso, sino que aprovecha los conocimientos previos de movimiento de grandes modelos preentrenados de difusión de texto a vídeo, utilizando una pérdida de destilación de puntuación para guiar la posición de los trazos. Para facilitar un movimiento natural y fluido, y preservar mejor la apariencia del boceto, modelamos el movimiento aprendido mediante dos componentes. El primero controla las pequeñas deformaciones locales, y el segundo controla las transformaciones afines globales.

Sorprendentemente, hemos descubierto que incluso los modelos que tienen dificultades para generar vídeos de bocetos por sí mismos pueden seguir siendo un pilar útil para representaciones abstractas de animaciones en LiveSketch.

LiveSketch tiene grandes limitaciones. En primer lugar, por el momento, solo permite un cierto grado de control sobre los resultados generados mediante la simple modificación de las indicaciones que describen el movimiento. Dichas modificaciones y controles se limitan a pequeños movimientos que el modelo puede crear, y las indicaciones de texto deben ser coherentes con la semántica del boceto inicial; además, no es posible distinguir cuando el sujeto contiene múltiples objetos.

En el futuro, tecnologías como LiveSketch podrían brillar en campos como la creación artística y la educación infantil, reduciendo significativamente la barrera de entrada a la creación artística y mejorando la diversión e interactividad de la educación.