Magi：漫画を自動でテキスト化・剧本生成 109

Magiモデルは、漫画を自動的に文字に書き起こし、自動的に台本を生成することができます。また、漫画ページ上のパネル、テキストブロック、キャラクターを認識し、それらを再配置・関連付けすることで、一貫した会話内容を出力し、各漫画に対して正確なテキスト記録を生成し、出力されるテキストの論理性を確保し、プロセス全体を効率化します。Magiモデルは、オックスフォード大学工学部の視覚幾何学グループによって開発されました。

Magiは、漫画画像から自動的にテキストを生成する必要がある研究者、開発者、漫画愛好家に適しています。これらのユーザーに対し、ツールを提供することで、デジタル化された漫画コンテンツやインデックスの作成を容易にします。

Magi GitHubソースコード：https://github.com/ragavsachdeva/magi

Magi論文：https://arxiv.org/abs/2401.10224

Magiモデルの主な機能：

• パネル検出：漫画ページ上の各パネル（画家が描画する独立した四角形の枠）を正確に識別します。これは、漫画ページのレイアウトと内容を理解する最初のステップです。

• テキスト検出：各パネル内部のテキスト領域を特定し、重要な会話やナレーションを含むテキストブロックを抽出します。これはパネルの内容を理解するための基礎となります。

• キャラクター検出：各パネル内に登場するキャラクターを検出し、画像内の境界ボックス、姿勢、表情などの視覚情報を取得します。これは後続の分析にとって非常に重要です。

• キャラクター識別：検出結果に基づき、各キャラクターの身元情報（名前、呼び名など）を識別します。これにより、物語の登場人物を追跡することができます。

• キャラクタークラスタリング：顔の特徴、服装の特徴などの情報に基づき、同じキャラクターの異なる姿勢の画像をクラスタリングし、ページ上の異なるキャラクターを区別します。

• 音声割り当て：テキストブロックがページ上のどのキャラクターの会話に属するかを判断し、音声を対応するキャラクターに正しく割り当てます。これは正確な台本を生成するために不可欠です。

• 読み順の整列：パネルの位置や読み順に基づき、分散したテキストブロックを再配置・接続し、一貫した会話内容を出力することで、出力テキストの論理性を保証します。

Magiの使用方法は？

1、漫画画像をアップロード

2、システムが自動的に漫画画像関連情報を認識・抽出し、テキストを生成

3、ユーザーは必要に応じてテキストを編集・修正

これらの機能により、Magiは漫画ページから詳細な文字台本（キャラクターの会話や対応する動作・状況の説明を含む）への自動変換を可能にし、漫画ページの自動理解と台本生成の課題を解決します。これにより、漫画コンテンツのデジタル処理が容易かつ迅速になり、読者はテキストを読むことで漫画物語を完全に体験できるようになります。