Magi: transcripción automática de manga a texto y generación de guiones 115

El modelo Magi puede transcribir automáticamente cómics a texto y generar guiones de forma automática. También puede identificar paneles, bloques de texto y personajes en las páginas del cómic, reordenarlos y asociarlos para producir un contenido de diálogo fluido, generando registros de texto precisos para cada cómic generado, garantizando así la coherencia lógica del texto de salida y haciendo que todo el proceso sea más eficiente. El modelo Magi fue desarrollado por el Visual Geometry Group del Departamento de Ciencias de la Ingeniería de la Universidad de Oxford.

Magi está dirigido a investigadores, desarrolladores o aficionados al cómic que necesiten generar texto de forma automática a partir de imágenes de cómics. Ofrece a estos usuarios herramientas cómodas y rápidas que les ayudan a digitalizar e indexar fácilmente el contenido del cómic.

Código fuente de Magi en GitHub: https://github.com/ragavsachdeva/magi

Artículo de Magi: https://arxiv.org/abs/2401.10224

Principales funciones del modelo Magi:

• Detección de paneles: identifica con precisión cada panel de la página del cómic, es decir, los marcos rectangulares independientes dibujados por el artista, lo que constituye el primer paso para entender la disposición y el contenido de la página del cómic.

• Detección de texto: localiza las áreas de texto dentro de cada panel y extrae los bloques de texto que contienen diálogos o narraciones importantes, lo que es la base para comprender el contenido del panel.

• Detección de personajes: detecta los personajes presentes en cada panel y obtiene información visual como sus cuadros delimitadores en la imagen, sus posturas y expresiones, lo cual resulta esencial para el análisis posterior.

• Reconocimiento de personajes: a partir de los resultados de detección, identifica la identidad de cada personaje, como su nombre o título, lo que ayuda a seguir a los personajes a lo largo de la historia.

• Agrupación de personajes: agrupa las imágenes de un mismo personaje en distintas posturas según características como el rostro o la vestimenta, diferenciando así a los distintos personajes presentes en la página.

• Asignación de voz: determina a qué personaje de la página pertenece el diálogo de cada bloque de texto, asignando correctamente la voz al personaje correspondiente, algo indispensable para generar un guion preciso.

• Ordenación de la lectura: reordena y enlaza los bloques de texto dispersos según la posición de los paneles y el orden de lectura, produciendo un contenido de diálogo coherente que garantiza la lógica del texto de salida.

¿Cómo se utiliza Magi?

1. Sube una imagen del cómic.

2. El sistema identifica y extrae automáticamente la información relevante de la imagen del cómic para generar el texto.

3. El usuario edita y modifica el texto según sus necesidades.

Gracias a estas funciones, Magi es capaz de convertir automáticamente páginas de cómic en guiones textuales detallados, resolviendo el problema de la comprensión automática de cómics y la generación de guiones, incluyendo los diálogos de los personajes y las descripciones de sus acciones o situaciones. Esto facilita enormemente el procesamiento digital del contenido de los cómics y permite a los lectores experimentar la historia del cómic por completo a través de la lectura del texto.