MinerU：ワンストップのオープンソースPDFデータ抽出ツール 133

MinerUは、PDFを機械可読形式（markdown、jsonなど）に変換するツールであり、任意の形式に簡単に抽出できますます。MinerUは书生-浦語の事前学習プロセスから誕生しました。MinerUは元のPDFドキュメントの構造を保持し、テキスト、画像、画像説明、表などの内容を抽出し、LaTeX形式、HTML形式を自動識別・変換し、OCRを自動実行し、多言語をサポートします。

MinerUの主な機能：

• ヘッダー、フッター、脚注、ページ番号などの要素を削除し、意味的な一貫性を確保

• 人間の閲覧順序に沿ったテキストを出力し、単段組み、多段組み、複雑なレイアウトに対応

• タイトル、段落、リストなど、元ドキュメントの構造を保持

• 画像、画像説明、表、表のタイトル、脚注を抽出

• ドキュメント内の数式を自動的に識別し、LaTeX形式に変換

• ドキュメント内の表を自動的に識別し、HTML形式に変換

• スキャンされたPDFや文字化けしたPDFを自動的に検出し、OCR機能を有効化

• OCRは84言語の検出と認識をサポート

• マルチモーダルやNLP用のMarkdown、閲覧順序に従ってソートされたJSON、豊富な情報を含む中間形式など、複数の出力形式をサポート

• レイアウト可視化、スパン可視化など、複数の可視化結果をサポートし、出力結果の確認や品質検査を効率的に実施可能

• CPUおよびGPU環境をサポート

• Windows、Linux、Macプラットフォームに対応

MinerUのコア機能と優位性：

• Magic-PDFモジュール：PDFドキュメント処理に特化し、ヘッダー、フッターなどの本文以外のコンテンツを智能的に識別・除去する一方で、タイトル、段落、リストなどの構造を正確に保持し、画像、表、数式の抽出をサポートすることで、変換後のMarkdown形式が正確で読みやすいことを確保します。

• Magic-Docモジュール：ウェブページや電子書籍を対象としており、ウェブページから正式な内容を抽出できます。

• マルチモーダルコンテンツ処理：MinerUはテキストだけでなく、画像、表、数式などのマルチモーダルコンテンツを効果的に抽出・処理できます。

• 多言語サポート：MinerUは繁体字・簡体字中国語を含む84言語をサポートします。

• 多様な形式：複数の出力形式と可視化結果をサポートし、CPUとGPU環境に対応し、複数プラットフォームと互換性があります。
  

• 自動識別・変換：数式をLaTeX形式に、表をLaTeXまたはHTML形式に識別・変換し、自動的に検出してOCR機能を有効化することもできます。
  

MinerUは主に学術研究、市場分析、法律ドキュメント処理、ナレッジ管理などの分野で使用されており、大量のドキュメントから効率的にキー情報を抽出することで、データ準備プロセスを加速し、大規模モデル学習、ナレッジグラフ構築などに高品質なデータサポートを提供します。

MinerUは上海人工智能实验室（上海ai实验室）大模型数据基座OpenDataLabチームによって開発され、2024年のWAIC（世界人工知能大会）で発表され、GitHubで急速に注目を集し、Pythonの人気プロジェクトとなりました。