MinerU: комплексный открытый инструмент для извлечения данных из PDF 132

MinerU — это инструмент для преобразования PDF в машиночитаемые форматы (такие как markdown, json), который позволяет легко извлекать данные в любой формат. MinerU появился в процессе предварительного обучения InternLM. MinerU сохраняет структуру исходного PDF-документа, извлекает текст, изображения, описания изображений, таблицы и другое содержимое, автоматически распознаёт и преобразует форматы LaTeX и HTML, поддерживает автоматическое OCR и множество языков.

Основные функции MinerU:

• Удаление колонтитулов, сносок, номеров страниц и других элементов для обеспечения семантической связности

• Вывод текста в порядке, удобном для чтения человеком, подходит для одноколоночной, многоколоночной и сложной вёрстки

• Сохранение структуры исходного документа, включая заголовки, абзацы, списки и т.д.

• Извлечение изображений, описаний изображений, таблиц, заголовков таблиц и сносок

• Автоматическое распознавание и преобразование формул в документе в формат LaTeX

• Автоматическое распознавание и преобразование таблиц в документе в формат HTML

• Автоматическое обнаружение отсканированных PDF и PDF с искажённым текстом с последующим включением функции OCR

• OCR поддерживает обнаружение и распознавание 84 языков

• Поддержка множества форматов вывода, таких как Markdown для мультимодальных и NLP-задач, JSON с упорядочиванием по порядку чтения, промежуточные форматы с богатой информацией и т.д.

• Поддержка различных визуализаций результатов, включая визуализацию layout и span, что позволяет эффективно проверять качество вывода и проводить контроль качества

• Поддержка сред CPU и GPU

• Совместимость с платформами Windows, Linux и Mac

Ключевые функции и преимущества MinerU:

• Модуль Magic-PDF: специализируется на обработке PDF-документов, способен интеллектуально распознавать и удалять не относящееся к основному тексту содержимое, такое как колонтитулы, точно сохраняя при этом структуру заголовков, абзацев, списков и т.д., поддерживает извлечение изображений, таблиц, формул, обеспечивая точность и удобочитаемость преобразованного формата Markdown.

• Модуль Magic-Doc: предназначен для веб-страниц и электронных книг, способен извлекать основное содержимое из веб-страниц.

• Обработка мультимодального контента: MinerU обрабатывает не только текст, но и эффективно извлекает и обрабатывает мультимодальный контент, такой как изображения, таблицы, формулы.

• Многоязычная поддержка: MinerU поддерживает 84 языка, включая традиционный и упрощённый китайский.

• Разнообразие форматов: поддержка множества форматов вывода и визуализаций результатов, адаптация к средам CPU и GPU, совместимость с несколькими платформами.
  

• Автоматическое распознавание и преобразование: распознавание и преобразование формул в формат LaTeX, таблиц — в формат LaTeX или HTML, а также автоматическое обнаружение и активация функции OCR.
  

MinerU находит применение в академических исследованиях, рыночном анализе, обработке юридических документов, управлении знаниями и других областях, позволяя эффективно извлекать ключевую информацию из больших объёмов документов, тем самым ускоряя процесс подготовки данных и обеспечивая высококачественную поддержку данных для обучения больших моделей, построения графов знаний и т.д.

MinerU разработан командой OpenDataLab базы данных больших моделей Шанхайской лаборатории искусственного интеллекта (Шанхайской ai лаборатории) и был представлен на WAIC (Всемирной конференции по искусственному интеллекту) в 2024 году, быстро привлекая внимание на GitHub и став популярным проектом на Python.