ToonComposer：腾讯推出的AI自动上色和生成动画工具 116

ToonComposer es una herramienta de generación de animación lanzada por Tencent, que combina los pasos de "interpolación de fotogramas" y "coloreado" en la producción de animación en una etapa de "generación posterior al dibujo original", simplificando el flujo de trabajo de producción de animación.

Características y funcionalidades de ToonComposer

• Generación de animaciones con múltiples métodos de entrada: ToonComposer puede generar animaciones a partir de texto, bocetos o imágenes. Por ejemplo, al introducir "un gato con traje de astronauta persiguiendo mariposas en la luna", se puede generar un guion de animación con varios planos.

• Autocompletado de detalles de la animación: a partir de los bocetos de fotogramas clave y los fotogramas de referencia en color introducidos, completa automáticamente los fotogramas intermedios y los colorea, generando finalmente un vídeo cartoon coherente.

• Conversión de estilos y personalización: incorpora más de 20 plantillas de estilos cartoon comunes, que se pueden cambiar con un solo clic, y también admite estilos personalizados.

• Edición dinámica de planos: arrastrando y soltando las tarjetas de los planos, se puede ajustar el orden, modificar las acciones y los parámetros de la cámara, logrando una edición intuitiva.

• Función de control por zonas: permite especificar áreas en blanco para que el modelo genere contenido adecuado basándose en el resto de la imagen, reduciendo el trabajo de dibujo manual.

Ventajas técnicas

• Mecanismo de inyección de bocetos dispersos: mediante la asignación de codificación posicional y la técnica residual con conciencia de posición, integra con precisión los bocetos dispersos de fotogramas clave en el modelo, logrando un control temporal preciso.

• Adaptador espacial de bajo rango (SLRA): ajusta el rendimiento espacial del modelo para adaptarlo al estilo cartoon, manteniendo al mismo tiempo la coherencia temporal, lo que hace que las acciones generadas sean más naturales.

• Capacidad de control por zonas: permite especificar áreas en blanco para que el modelo genere contenido apropiado según el contexto, reduciendo la cantidad de dibujo manual.

Cómo usar ToonComposer

Requisitos de hardware y sistema: se necesita una GPU NVIDIA (con al menos 16 GB de memoria de vídeo), Python 3.10 y PyTorch 2.6.0.

Pasos de instalación

git clone https://github.com/TencentARC/ToonComposer
cd ToonComposer
conda create -n tooncomposer python=3.10 -y
conda activate tooncomposer
pip install -r requirements.txt
pip install flash-attn==2.8.0.post2 --no-build-isolation

Inicio de la interfaz

Ejecute el comando: python app.py --device cuda:0 --resolution 480p y, a continuación, abra http://localhost:7860 en el navegador para ver la interfaz de Gradio.

Operación en la interfaz

• Indicación de texto: introduzca texto que describa el contenido de la animación, por ejemplo, "A girl with long hair waves her hand." .

• Fotograma de referencia en color: suba una imagen en color con un tamaño de 480×480 o 608×608, generalmente colocada en el fotograma 0.

• Bocetos lineales de fotogramas clave: seleccione el número de fotograma en la línea de tiempo y suba el boceto lineal correspondiente; se necesita un mínimo de 1.

• Máscara de zona (opcional): use un pincel negro para pintar sobre el boceto lineal, permitiendo que el modelo genere automáticamente el contenido de esa zona.

• Configuración avanzada: se puede ajustar la intensidad del prompt (CFG Scale) y el control del boceto lineal (Position - aware Residual Scale).

• Generar animación: haga clic en "Generate", espere a que se complete la barra de progreso y podrá reproducir y descargar la animación generada.

Ventajas y resultados

• Reducción del trabajo manual: reduce significativamente la carga de trabajo manual en las fases de interpolación de fotogramas y coloreado de la producción de animación.

• Generación de alta calidad: en múltiples pruebas, ToonComposer supera a los métodos existentes en calidad visual, coherencia del movimiento y eficiencia de producción.

• Alta flexibilidad: admite la inserción de varios bocetos lineales de fotogramas clave en cualquier punto temporal, lo que permite un control del movimiento más preciso.

Escenarios de aplicación

• Producción de animación

• Cartoon tradicional: genera rápidamente fotogramas intermedios y completa el coloreado, reduciendo el trabajo manual y mejorando la eficiencia de producción.

• Animación online y en directo: admite la generación en tiempo real, ideal para la producción de cartoons online y escenarios de animación en directo.

• Animación 3D: explora las posibilidades de aplicación en la producción de animación 3D.

• Ámbito educativo: permite crear animaciones educativas vívidas que ayudan a los estudiantes a comprender conceptos complejos de forma más intuitiva.

• Marketing y publicidad: genera rápidamente prototipos de ideas creativas en animación para la producción publicitaria.

• Desarrollo de videojuegos: ayuda en el desarrollo de juegos, generando rápidamente animaciones de personajes y escenas para el prototipado.

Github:https://github.com/TencentARC/ToonComposer