MinerU: herramienta de código abierto todo en uno para extraer datos de PDF 131

MinerU es una herramienta que convierte PDF a un formato legible por máquina (como markdown, json), lo que permite extraer el contenido cómodamente en cualquier formato. MinerU nació durante el proceso de preentrenamiento de Intern (Shusheng-Puyu). MinerU puede conservar la estructura original del documento PDF, extraer texto, imágenes, descripciones de imágenes, tablas y otros contenidos, reconocer y convertir automáticamente los formatos LaTeX y HTML, y admite OCR automática con compatibilidad multilingüe.

Funciones principales de MinerU:

• Elimina encabezados, pies de página, notas al pie, números de página y otros elementos para garantizar la coherencia semántica

• Genera texto en el orden de lectura humano, válido para diseños de una columna, varias columnas y maquetaciones complejas

• Conserva la estructura del documento original, incluidos títulos, párrafos, listas, etc.

• Extrae imágenes, descripciones de imágenes, tablas, títulos de tablas y notas al pie

• Reconoce y convierte automáticamente las fórmulas del documento a formato LaTeX

• Reconoce y convierte automáticamente las tablas del documento a formato HTML

• Detecta automáticamente PDFs escaneados y PDFs con caracteres ilegibles, y activa la función OCR

• La OCR admite la detección y el reconocimiento de 84 idiomas

• Admite varios formatos de salida, como Markdown para uso multimodal y NLP, JSON ordenado por orden de lectura, formatos intermedios con información enriquecida, etc.

• Ofrece múltiples resultados de visualización, incluida la visualización del diseño y la visualización de fragmentos (span), lo que facilita la confirmación de los resultados y el control de calidad

• Compatible con entornos CPU y GPU

• Compatible con las plataformas Windows, Linux y Mac

Funciones clave y ventajas de MinerU:

• Módulo Magic-PDF: centrado en el procesamiento de documentos PDF, identifica y elimina de forma inteligente elementos que no son del cuerpo principal, como encabezados y pies de página, al mismo tiempo que conserva con precisión estructuras como títulos, párrafos y listas. Admite la extracción de imágenes, tablas y fórmulas, garantizando que el formato Markdown resultante sea preciso y fácil de leer.

• Módulo Magic-Doc: orientado a páginas web y libros electrónicos, capaz de extraer el contenido principal de las páginas web.

• Procesamiento de contenido multimodal: MinerU no solo procesa texto, sino que también extrae y maneja eficazmente contenido multimodal como imágenes, tablas y fórmulas.

• Soporte multilingüe: MinerU admite 84 idiomas, incluidos el chino tradicional y simplificado.

• Formatos variados: admite múltiples formatos de salida y resultados de visualización, se adapta a entornos CPU y GPU, y es compatible con varias plataformas.
  

• Reconocimiento y conversión automáticos: identifica y convierte las fórmulas al formato LaTeX y las tablas a los formatos LaTeX o HTML. También detecta automáticamente cuándo activar la función OCR.
  

MinerU se aplica principalmente en campos como la investigación académica, el análisis de mercado, el procesamiento de documentos legales y la gestión del conocimiento, lo que nos permite extraer de forma eficiente información clave de grandes volúmenes de documentos, acelerando así el proceso de preparación de datos y proporcionando soporte de datos de alta calidad para el entrenamiento de modelos grandes, la construcción de grafos de conocimiento, etc.

MinerU fue desarrollado por el equipo OpenDataLab de la base de datos para modelos grandes del Laboratorio de Inteligencia Artificial de Shanghái (Laboratorio de IA de Shanghái) y se presentó en la WAIC (Conferencia Mundial de Inteligencia Artificial) de 2024, donde rápidamente llamó la atención en GitHub y se convirtió en un proyecto popular de Python.