SmolDocling : un modèle vision-langage léger pour convertir des documents complexes en texte structuré 135

Qu'est-ce que SmolDocling ?

SmolDocling est un modèle vision-langage léger développé conjointement par IBM Research et Hugging Face, conçu pour la conversion de documents multimodaux de bout en bout. Il ne comporte que 256M de paramètres et peut traiter rapidement des documents sur des GPU grand public, avec un temps de traitement de seulement 0,35 seconde par page. La mission principale de SmolDocling est de transformer le contenu complexe présent dans n'importe quelle image en données structurées et éditables.

Fonctionnalités de SmolDocling

• DocTags pour un balisage efficace : introduction des DocTags, une méthode de représentation de documents efficace et compacte, entièrement compatible avec les DoclingDocuments.

• OCR (Reconnaissance optique de caractères) : capable d'extraire avec précision le texte à partir d'images.

• Mise en page et localisation : préservation de la structure du document et des cadres de délimitation (bounding boxes) des éléments du document.

• Reconnaissance de code : détection et formatage des blocs de code, y compris l'indentation.

• Reconnaissance de formules : identification et traitement des expressions mathématiques.

• Reconnaissance de graphiques : extraction et interprétation des données des graphiques.

• Reconnaissance de tableaux : prise en charge de l'extraction de tableaux structurés avec en-têtes de colonnes et de lignes.

• Classification des figures : distinction entre les figures et les éléments graphiques.

• Corrélation des légendes : association des légendes avec les images et figures correspondantes.

• Regroupement de listes : organisation et structuration correctes des éléments de listes.

• Conversion de page complète : traitement de la page entière, y compris tous les éléments présents (code, équations, tableaux, graphiques, etc.).

• OCR avec cadres de délimitation : reconnaissance des zones OCR à l'aide de cadres de délimitation.

• Traitement général de documents : entraînement adapté aussi bien aux documents scientifiques que non scientifiques.

• Intégration transparente avec Docling : possibilité d'importer dans Docling et d'exporter dans plusieurs formats (HTML, Markdown, etc.).

• Inférence rapide : temps de traitement moyen de 0,35 seconde par page sur un GPU A100.

Extension et optimisation du modèle

• Prise en charge de plusieurs instructions : prise en charge de diverses instructions, telles que la conversion de pages en DocTags, la conversion de graphiques en tableaux, la conversion de formules en LaTeX, etc.

• Support multilingue : bien que principalement optimisé pour l'anglais, il peut potentiellement être étendu pour prendre en charge davantage de langues.

• Amélioration continue : amélioration de la reconnaissance des graphiques, prise en charge de l'inférence multi-pages, reconnaissance chimique, etc.

Cas d'utilisation de SmolDocling

• Recherche académique : conversion rapide des articles scientifiques et rapports de recherche en format structuré pour faciliter l'extraction des informations clés.

• Traitement de documents commerciaux : conversion automatique des contrats, rapports et tableaux commerciaux pour faciliter le stockage, la recherche et l'analyse documentaire en entreprise.

• Gestion de la documentation technique : conversion des manuels techniques, documentation de code, etc. en formats éditables, avec reconnaissance et formatage précis des extraits de code.

• Domaine de l'éducation : extraction et conversion du contenu des manuels et supports de cours (formules, graphiques, etc.) en formats faciles à comprendre.

• Traitement des documents médicaux : traitement des rapports médicaux et articles de recherche, extraction des informations clés pour aider à la prise de décision médicale.

• Prise en charge des appareils mobiles et à ressources limitées : peut fonctionner sur des appareils mobiles ou dans des environnements à ressources limitées.

Comment utiliser SmolDocling

1. Téléchargement du modèle : SmolDocling peut être téléchargé depuis le dépôt de modèles de Hugging Face.

2. Déploiement local : grâce à sa petite taille, il peut être exécuté sur un ordinateur portable standard ou un appareil mobile.

3. Appel d'API : SmolDocling peut être appelé via l'interface API fournie par Hugging Face.

4. Affinage du modèle : les développeurs peuvent affiner le modèle pour l'adapter à des cas d'utilisation spécifiques, tels que l'analyse de rapports médicaux ou la reconnaissance de tableaux financiers.

Dépôt de modèles Hugging Face :https://huggingface.co/ds4sd/SmolDocling-256M-preview

DÉMO :https://huggingface.co/spaces/ds4sd/SmolDocling-256M-Demo