Magi: automatische Transkription von Manga in Text und automatische Skriptgenerierung 112

Das Magi-Modell kann Comics automatisch in Text transkribieren und automatisch Skripte generieren. Es erkennt die Panels, Textblöcke und Charaktere auf den Comicseiten, ordnet sie neu zu und verknüpft sie, um zusammenhängende Dialoginhalte auszugeben. Für jede Comic-Generierung werden präzise Textaufzeichnungen erstellt, um die Logik des Ausgabetextes sicherzustellen und den gesamten Prozess effizienter zu gestalten. Das Magi-Modell wurde von der Visual Geometry Group der Fakultät für Ingenieurwissenschaften der Universität Oxford entwickelt.

Magi eignet sich für Forscher, Entwickler oder Comic-Enthusiasten, die Comics automatisch in Text umwandeln möchten. Es bietet diesen Nutzern ein bequemes und schnelles Werkzeug, das ihnen hilft, digitale Comic-Inhalte und Indizes mühelos zu erstellen.

Magi GitHub-Quellcode: https://github.com/ragavsachdeva/magi

Magi-Paper: https://arxiv.org/abs/2401.10224

Hauptfunktionen des Magi-Modells:

• Panel-Erkennung: Erkennt präzise die einzelnen Panels auf einer Comicseite, also die vom Zeichner gezeichneten rechteckigen Rahmen – dies ist der erste Schritt zum Verständnis des Layouts und der Inhalte einer Comicseite.

• Texterkennung: Lokalisiert Textbereiche innerhalb jedes Panels und extrahiert Textblöcke mit wichtigen Dialogen oder Erzählungen – dies ist die Grundlage für das Verständnis des Panelinhalts.

• Charaktererkennung: Erkennt die in jedem Panel auftretenden Charaktere und erfasst visuelle Informationen wie Bounding Boxes, Posen und Gesichtsausdrücke, die für die weitere Analyse entscheidend sind.

• Charakteridentifikation: Identifiziert auf Basis der Erkennungsergebnisse die Identität jedes Charakters, etwa Name oder Anrede, um die Figuren in der Geschichte verfolgen zu können.

• Charakter-Clustering: Gruppiert Bilder desselben Charakters in verschiedenen Posen anhand von Gesichts- und Kleidungsmerkmalen, um die verschiedenen Charaktere auf der Seite zu unterscheiden.

• Sprachzuweisung: Stellt fest, zu welchem Charakter auf der Seite ein Textblock gehört, und weist die Sprache korrekt dem entsprechenden Charakter zu – unerlässlich für die Erstellung präziser Skripte.

• Lese-Sortierung: Ordnet verstreute Textblöcke entsprechend der Panel-Position und Lesereihenfolge neu und verknüpft sie zu zusammenhängenden Dialoginhalten, um die logische Struktur des Ausgabetextes zu gewährleisten.

Wie verwendet man Magi?

1. Comic-Bild hochladen

2. Das System erkennt automatisch die relevanten Informationen des Comic-Bildes und generiert Text

3. Der Nutzer kann den Text nach Bedarf bearbeiten und anpassen

Durch diese Funktionen kann Magi Comicseiten automatisch in detaillierte Textskripte umwandeln und so das Problem des automatischen Verstehens und der Skriptgenerierung von Comicseiten lösen, einschließlich Charakterdialogen und zugehörigen Handlungs- oder Situationsbeschreibungen. Dies macht die digitale Verarbeitung von Comic-Inhalten einfach und schnell und ermöglicht es Lesern, die Comic-Geschichte vollständig durch das Lesen des Textes zu erleben.