Magi: 만화를 자동으로 텍스트로 변환하고 대본을 자동 생성 114

Magi 모델은 자동으로 만화를 텍스트로 필사하고 자동으로 대본을 생성할 수 있을 뿐만 아니라, 만화 페이지의 패널, 텍스트 블록, 캐릭터를 인식하여 재배열 및 연관시킨 후连贯한 대화 내용을 출력하여 각 만화에 대해 정확한 텍스트 기록을 생성함으로써 출력 텍스트의 논리성을 보장하고 전체 프로세스를 더욱 효율적으로 만듭니다. Magi 모델은 옥스퍼드 대학교 공학부의 비주얼 지오메트리 그룹에서 개발했습니다.

Magi는 만화 이미지를 자동으로 텍스트로 변환해야 하는 연구자, 개발자 또는 만화 애호가들에게 적합합니다. 이들에게 편리하고 빠른 도구를 제공하여 디지털 만화 콘텐츠 및 인덱싱을 손쉽게 수행할 수 있도록 도와줍니다.

Magi GitHub 소스코드: https://github.com/ragavsachdeva/magi

Magi 논문: https://arxiv.org/abs/2401.10224

Magi 모델의 주요 기능:

• 패널 감지: 만화 페이지의 각 패널, 즉 화가가 그린 독립적인 사각형 프레임을 정확하게 식별하는 것으로, 이는 만화 페이지 레이아웃과 내용을 이해하는 첫 번째 단계입니다.

• 텍스트 감지: 각 패널 내부에서 텍스트 영역을 찾아 중요한 대화나 내러티브를 포함하는 텍스트 블록을 추출하며, 이는 패널 내용을 이해하는 기초가 됩니다.

• 캐릭터 감지: 각 패널에 나타난 캐릭터를 감지하여 이미지 내에서의 경계 상자, 자세, 표정 등 시각적 정보를 얻으며, 이는 후속 분석에 매우 중요합니다.

• 캐릭터 인식: 감지 결과를 바탕으로 각 캐릭터의 이름, 호칭 등 신원 정보를 식별하여 이야기 속 등장인물을 추적하는 데 도움이 됩니다.

• 캐릭터 클러스터링: 얼굴 특징, 의상 특징 등의 정보에 따라 동일 캐릭터의 다양한 자세를 클러스터링하여 페이지의 서로 다른 캐릭터를 구별합니다.

• 음성 할당: 텍스트 블록이 페이지의 어느 캐릭터의 대화에 속하는지 판단하여 해당 캐릭터에게 음성을 올바르게 할당하며, 이는 정확한 대본 생성에 필수적입니다.

• 읽기 순서 정렬: 패널 위치와 읽기 순서에 따라 분산된 텍스트 블록을 재정렬 및 연결하여连贯한 대화 내용을 출력함으로써 출력 텍스트의 논리성을 보장합니다.

Magi 사용 방법?

1. 만화 이미지 업로드

2. 시스템이 자동으로 만화 이미지의 관련 정보를 인식 및 추출하여 텍스트 생성

3. 필요에 따라 사용자가 텍스트를 편집 및 수정

Magi의 이러한 기능을 통해 만화 페이지를 자세한 텍스트 대본으로 자동 변환할 수 있으며, 캐릭터 대화와相应的한 동작 또는 상황 설명이 포함된 만화 페이지의 자동 이해 및 대본 생성 문제를 해결합니다. 이를 통해 만화 콘텐츠의 디지털 처리가 쉽고 빠르게 이루어지며, 독자가 텍스트 읽기를 통해 만화 이야기를 완전히 경험할 수 있게 됩니다.