Magi : transcription automatique de manga en texte et génération de scénarios 110

Le modèle Magi peut transcrire automatiquement les mangas en texte et générer automatiquement des scripts. Il peut également réorganiser et associer les dialogues en identifiant les cases, les blocs de texte et les personnages sur les pages de manga, produisant ainsi un contenu de dialogue cohérent et générant avec précision des transcriptions textuelles pour chaque manga, garantissant la logique du texte produit et rendant l'ensemble du processus plus efficace. Le modèle Magi a été développé par le Visual Geometry Group du département de génie des sciences de l'Université d'Oxford.

Magi s'adresse aux chercheurs, développeurs ou passionnés de mangas qui ont besoin de générer automatiquement du texte à partir d'images de mangas. Il offre à ces utilisateurs des outils pratiques et rapides, les aidant ainsi à numériser et indexer facilement le contenu des mangas.

Code source Magi sur GitHub : https://github.com/ragavsachdeva/magi

Article Magi : https://arxiv.org/abs/2401.10224

Principales fonctionnalités du modèle Magi :

• Détection des cases : identification précise des différentes cases sur une page de manga, c'est-à-dire les cadres rectangulaires indépendants dessinés par l'artiste, ce qui constitue la première étape pour comprendre la mise en page et le contenu de la page de manga.

• Détection de texte : localisation des zones de texte à l'intérieur de chaque case et extraction des blocs de texte contenant des dialogues ou des récits importants, ce qui constitue la base de la compréhension du contenu des cases.

• Détection des personnages : détection des personnages présents dans chaque case, en obtenant des informations visuelles telles que leurs boîtes englobantes, leurs poses et leurs expressions dans l'image, ce qui est essentiel pour l'analyse ultérieure.

• Reconnaissance des personnages : sur la base des résultats de détection, identification des informations d'identité de chaque personnage, telles que le nom, l'appellation, etc., ce qui permet de suivre les personnages de l'histoire.

• Regroupement des personnages : regroupement des images d'un même personnage dans différentes poses en fonction d'informations telles que les traits du visage et les vêtements, permettant ainsi de distinguer les différents personnages présents sur une page.

• Attribution de la parole : détermination du personnage auquel appartient chaque bloc de texte sur la page et attribution correcte de la parole au personnage correspondant, ce qui est indispensable pour générer un script précis.

• Ordre de lecture : réorganisation et liaison des blocs de texte dispersés en fonction de la position des cases et de l'ordre de lecture, produisant un contenu de dialogue cohérent, garantissant ainsi la logique du texte de sortie.

Comment utiliser Magi ?

1. Téléchargez une image de manga

2. Le système identifie et extrait automatiquement les informations pertinentes de l'image du manga pour générer du texte

3. L'utilisateur édite et modifie le texte selon ses besoins

Grâce à ces fonctionnalités, Magi est capable de transformer automatiquement les pages de manga en scripts textuels détaillés, résolvant ainsi le problème de la compréhension automatique des pages de manga et de la génération de scripts, incluant les dialogues des personnages ainsi que les descriptions des actions ou des situations correspondantes. Cela facilite et accélère le traitement numérique du contenu des mangas, permettant aux lecteurs de vivre pleinement l'histoire du manga à travers la lecture du texte.