MinerU: Open-Source-All-in-One-Tool zur PDF-Datenextraktion 129

MinerU ist ein Tool, das PDFs in maschinenlesbare Formate (wie Markdown, JSON) konvertiert und sich bequem in jedes beliebige Format extrahieren lässt. MinerU entstand während des Pretrainings von InternLM (Shusheng-Puyu). MinerU kann die Struktur des ursprünglichen PDF-Dokuments erhalten, Texte, Bilder, Bildbeschreibungen, Tabellen und andere Inhalte extrahieren, LaTeX- und HTML-Formate automatisch erkennen und umwandeln, automatische OCR durchführen und unterstützt mehrere Sprachen.

Hauptfunktionen von MinerU:

• Entfernt Elemente wie Kopf- und Fußzeilen, Fußnoten und Seitenzahlen, um semantische Kohärenz zu gewährleisten

• Gibt Text in einer lesbaren Reihenfolge aus, geeignet für ein-, mehrspaltige und komplexe Layouts

• Behält die Struktur des Originaldokuments bei, einschließlich Überschriften, Absätzen, Listen usw.

• Extrahiert Bilder, Bildbeschreibungen, Tabellen, Tabellenüberschriften und Fußnoten

• Erkennt und konvertiert Formeln im Dokument automatisch in das LaTeX-Format

• Erkennt und konvertiert Tabellen im Dokument automatisch in das HTML-Format

• Erkennt automatisch gescannte und fehlerhaft codierte PDFs und aktiviert die OCR-Funktion

• Die OCR unterstützt die Erkennung von 84 Sprachen

• Unterstützt mehrere Ausgabeformate wie Markdown für multimodale und NLP-Anwendungen, JSON in Lesereihenfolge und informationsreiche Zwischenformate

• Unterstützt mehrere Visualisierungsergebnisse, einschließlich Layout- und Span-Visualisierung, zur effizienten Überprüfung der Ausgabe und Qualitätssicherung

• Unterstützt CPU- und GPU-Umgebungen

• Kompatibel mit Windows-, Linux- und Mac-Plattformen

Kernfunktionen und Vorteile von MinerU:

• Magic-PDF-Modul: Konzentriert sich auf die Verarbeitung von PDF-Dokumenten, erkennt und entfernt intelligent Nicht-Body-Inhalte wie Kopf- und Fußzeilen, bewahrt präzise Strukturen wie Überschriften, Absätze und Listen, unterstützt die Extraktion von Bildern, Tabellen und Formeln und stellt sicher, dass das konvertierte Markdown-Format sowohl genau als auch leicht lesbar ist.

• Magic-Doc-Modul: Für Webseiten und E-Books, kann formelle Inhalte aus Webseiten extrahieren.

• Multimodale Inhaltsverarbeitung: MinerU verarbeitet nicht nur Text, sondern kann auch multimodale Inhalte wie Bilder, Tabellen und Formeln effektiv extrahieren und verarbeiten.

• Mehrsprachige Unterstützung: MinerU unterstützt 84 Sprachen, einschließlich traditionellem und vereinfachtem Chinesisch.

• Vielfältige Formate: Unterstützt mehrere Ausgabeformate und Visualisierungsergebnisse, ist für CPU- und GPU-Umgebungen geeignet und mit mehreren Plattformen kompatibel.
  

• Automatische Erkennung und Konvertierung: Erkennt und konvertiert Formeln in das LaTeX-Format, Tabellen in das LaTeX- oder HTML-Format, erkennt automatisch und aktiviert die OCR-Funktion.
  

MinerU wird hauptsächlich in der akademischen Forschung, Marktanalysen, Verarbeitung juristischer Dokumente, Wissensmanagement und anderen Bereichen eingesetzt und ermöglicht es uns, Schlüsselinformationen effizient aus großen Dokumentenmengen zu extrahieren. Dadurch wird der Datenvorbereitungsprozess beschleunigt und hochwertige Datenunterstützung für das Training großer Modelle, den Aufbau von Wissensgraphen und mehr bereitgestellt.

MinerU wurde vom OpenDataLab-Team der Basis großer Modelle für Daten des Shanghai Artificial Intelligence Laboratory (Shanghai AI Laboratory) entwickelt und auf der WAIC (World Artificial Intelligence Conference) 2024 vorgestellt. Es erregte schnell Aufmerksamkeit auf GitHub und wurde zu einem beliebten Python-Projekt.