MinerU : outil open source tout-en-un pour l'extraction de données PDF 134

MinerU est un outil qui convertit les fichiers PDF en formats lisibles par machine (tels que markdown, json), permettant une extraction facile dans n'importe quel format. MinerU est né lors du processus de pré-entraînement de Shusheng-Puyu (InternLM). MinerU préserve la structure du document PDF d'origine, extrait le texte, les images, les descriptions d'images, les tableaux et autres contenus, identifie et convertit automatiquement les formats LaTeX et HTML, dispose d'une fonction OCR automatique et prend en charge plusieurs langues.

Fonctionnalités principales de MinerU :

• Suppression des en-têtes, pieds de page, notes de bas de page, numéros de page et autres éléments pour garantir la cohérence sémantique

• Sortie de texte respectant l'ordre de lecture humain, applicable aux mises en page à une colonne, à plusieurs colonnes et aux mises en page complexes

• Préservation de la structure du document d'origine, y compris les titres, paragraphes, listes, etc.

• Extraction des images, descriptions d'images, tableaux, légendes de tableaux et notes de bas de page

• Reconnaissance et conversion automatiques des formules du document au format LaTeX

• Reconnaissance et conversion automatiques des tableaux du document au format HTML

• Détection automatique des PDF numérisés et des PDF corrompus, et activation de la fonction OCR

• La fonction OCR prend en charge la détection et la reconnaissance de 84 langues

• Prise en charge de plusieurs formats de sortie, tels que le Markdown pour le multimodal et le NLP, le JSON trié selon l'ordre de lecture, des formats intermédiaires riches en informations, etc.

• Prise en charge de plusieurs résultats de visualisation, y compris la visualisation de la mise en page, la visualisation des étendues, etc., facilitant la confirmation efficace des résultats de sortie et le contrôle qualité

• Prise en charge des environnements CPU et GPU

• Compatible avec les plateformes Windows, Linux et Mac

Fonctionnalités clés et avantages de MinerU :

• Module Magic-PDF : dédié au traitement des documents PDF, capable d'identifier et de supprimer intelligemment les contenus non textuels tels que les en-têtes et pieds de page, tout en préservant avec précision les structures comme les titres, paragraphes et listes. Il prend en charge l'extraction des images, tableaux et formules, garantissant un format Markdown converti à la fois précis et facile à lire.

• Module Magic-Doc : conçu pour les pages web et les livres électroniques, capable d'extraire le contenu formel des pages web.

• Traitement de contenu multimodal : MinerU ne traite pas seulement le texte, mais extrait et traite également efficacement le contenu multimodal tel que les images, tableaux et formules.

• Prise en charge multilingue : MinerU prend en charge 84 langues, y compris le chinois traditionnel et simplifié.

• Formats variés : prend en charge plusieurs formats de sortie et résultats de visualisation, s'adapte aux environnements CPU et GPU, et est compatible avec plusieurs plateformes.
  

• Reconnaissance et conversion automatiques : identifie et convertit les formules au format LaTeX, les tableaux au format LaTeX ou HTML, et peut également détecter et activer automatiquement la fonction OCR.
  

MinerU est principalement utilisé dans des domaines tels que la recherche universitaire, l'analyse de marché, le traitement de documents juridiques et la gestion des connaissances, nous permettant d'extraire efficacement des informations clés à partir de grands volumes de documents, accélérant ainsi le processus de préparation des données et fournissant un soutien de données de haute qualité pour l'entraînement de grands modèles, la construction de graphes de connaissances, etc.

MinerU a été développé par l'équipe OpenDataLab, la base de données pour grands modèles du Laboratoire d'intelligence artificielle de Shanghai (Laboratoire d'IA de Shanghai), et a été présenté lors de la WAIC (Conférence mondiale sur l'intelligence artificielle) en 2024, suscitant rapidement l'attention sur GitHub et devenant un projet Python populaire.