Magi: автоматическая транскрипция манги в текст и генерация сценариев 118

Модель Magi способна автоматически транскрибировать мангу в текст и автоматически генерировать сценарии. Она также может распознавать панели, текстовые блоки и персонажей на страницах манги, переупорядочивать и связывать их, выводя связный диалоговый контент и точно создавая текстовую запись для каждой страницы манги, обеспечивая тем самым логичность выходного текста и делая весь процесс более эффективным. Модель Magi была разработана группой Visual Geometry Group кафедры инженерных наук Оксфордского университета.

Magi предназначена для исследователей, разработчиков и любителей манги, которым необходимо автоматически генерировать текст из изображений манги. Она предоставляет этим пользователям удобные и быстрые инструменты, помогая им легко оцифровывать контент манги и создавать указатели.

Исходный код Magi на GitHub: https://github.com/ragavsachdeva/magi

Документ Magi: https://arxiv.org/abs/2401.10224

Основные функции модели Magi:

• Обнаружение панелей: точное распознавание отдельных панелей на странице манги, то есть независимых прямоугольных рамок, нарисованных художником, что является первым шагом к пониманию макета и содержания страницы манги.

• Обнаружение текста: определение текстовых областей внутри каждой панели, извлечение текстовых блоков, содержащих важные диалоги или повествование, что является основой для понимания содержимого панели.

• Обнаружение персонажей: обнаружение персонажей, появляющихся в каждой панели, получение ограничивающих рамок, поз, выражений лиц и другой визуальной информации, что крайне важно для последующего анализа.

• Распознавание персонажей: на основе результатов обнаружения распознавание идентификационной информации каждого персонажа, такой как имя, обращение и т. д., что помогает отслеживать действующих лиц в истории.

• Кластеризация персонажей: группировка изображений одного и того же персонажа в разных позах на основе информации о чертах лица, одежде и других характеристик, что позволяет различать разных персонажей на странице.

• Назначение реплик: определение того, к какому персонажу на странице относится текстовый блок, и правильное назначение реплик соответствующему персонажу, что необходимо для создания точного сценария.

• Упорядочивание чтения: переупорядочивание и связывание разрозненных текстовых блоков в соответствии с расположением панелей и порядком чтения, вывод связного диалогового контента, что обеспечивает логичность выходного текста.

Как использовать Magi?

1. Загрузите изображение манги

2. Система автоматически распознает и извлечет соответствующую информацию из изображения манги и сгенерирует текст

3. Пользователь при необходимости редактирует и изменяет текст

Благодаря этим функциям Magi способна автоматически преобразовывать страницы манги в подробные текстовые сценарии, решая задачи автоматического понимания страниц манги и генерации сценариев, включая диалоги персонажей и соответствующие описания действий или ситуаций. Это делает оцифровку содержимого манги простой и быстрой, позволяя читателям полноценно воспринимать историю манги через чтение текста.