MinerU: 원스톱 오픈소스 PDF 데이터 추출 도구 130

MinerU는 PDF를 기계가 읽을 수 있는 형식(예: markdown, json)으로 변환하는 도구로, 어떠한 형식으로도 편리하게 추출할 수 있습니다. MinerU는书生-浦语의 사전 학습 과정에서誕生했습니다. MinerU는 원본 PDF 문서의 구조를 유지하며, 텍스트, 이미지, 이미지 설명, 표 등의 내용을 추출하고, LaTeX 형식과 HTML 형식을 자동으로 식별 및 변환하며, 자동 OCR 기능을 지원하고 다국어를 지원합니다.

MinerU 주요 기능:

• 머리글, 바닥글, 각주, 페이지 번호 등의 요소를 제거하여 의미의连贯성을 확보

• 단일 열, 다중 열 및 복잡한 레이아웃에 적합한, 인간의 읽기 순서에 맞는 텍스트 출력

• 제목, 단락, 목록 등 원본 문서의 구조 유지

• 이미지, 이미지 설명, 표, 표 제목 및 각주 추출

• 문서 내 수식을 자동으로 식별하고 LaTeX 형식으로 변환

• 문서 내 표를 자동으로 식별하고 HTML 형식으로 변환

• 스캔된 PDF 및 손상된 PDF를 자동으로 감지하고 OCR 기능 활성화

• OCR이 84개 언어의 감지 및 인식 지원

• 다양한 출력 형식 지원(예: 다중 모달 및 NLP용 Markdown, 읽기 순서대로 정렬된 JSON, 풍부한 정보가 포함된 중간 형식 등)

• layout 시각화, span 시각화 등 다양한 시각화 결과 지원으로 출력 효과 확인 및 품질 검수 효율성 향상

• CPU 및 GPU 환경 지원

• Windows, Linux 및 Mac 플랫폼 호환

MinerU 핵심 기능 및 장점:

• Magic-PDF 모듈: PDF 문서 처리에 집중하며, 머리글과 바닥글 등 본문이 아닌 내용을 지능적으로 식별 및 제거하는 동시에 제목, 단락, 목록 등의 구조를 정확하게 유지합니다. 이미지, 표, 수식의 추출을 지원하며, 변환된 Markdown 형식이 정확하면서도 읽기 쉬도록 보장합니다.

• Magic-Doc 모듈: 웹페이지 및 전자책을 대상으로 하며, 웹페이지에서 정식 콘텐츠를 추출할 수 있습니다.

• 다중 모달 콘텐츠 처리: MinerU는 텍스트만 처리하는 것이 아니라 이미지, 표, 수식 등 다중 모달 콘텐츠도 효과적으로 추출 및 처리합니다.

• 다국어 지원: MinerU는 번체 중국어 및 간체 중국어를 포함한 84개 언어를 지원합니다.

• 다양한 형식: 여러 출력 형식 및 시각화 결과를 지원하며, CPU 및 GPU 환경에适配하고 다중 플랫폼과 호환됩니다.
  

• 자동 식별 및 변환: 수식을 LaTeX 형식으로 식별 및 변환하고, 표를 LaTeX 또는 HTML 형식으로 변환하며, OCR 기능을 자동으로 감지 및 활성화할 수 있습니다.
  

MinerU는 주로 학술 연구, 시장 분석, 법률 문서 처리, 지식 관리 등의 분야에 활용되어, 대량의 문서에서 핵심 정보를 효율적으로 추출할 수 있게 함으로써 데이터 준비 과정을加速化하고, 대규모 모델 학습 및 지식 그래프 구축 등에 고품질의 데이터 지원을 제공합니다.

MinerU는 상하이인공지능 연구실(상하이ai 연구실) 대규모 모델 데이터 기반 OpenDataLab 팀에서 개발되었으며, 2024년 WAIC(세계 인공지능 대회)에서 공개되어 GitHub에서 빠르게 관심을 얻으며 Python의 인기 프로젝트가 되었습니다.