SmolDocling: Ein leichtgewichtiges Vision-Language-Modell zur Umwandlung komplexer Dokumente in strukturierten Text 131

Was ist SmolDocling?

SmolDocling ist ein leichtgewichtiges Vision-Language-Modell, das gemeinsam von IBM Research und Hugging Face entwickelt wurde und speziell für die Ende-zu-Ende-Multimodal-Dokumentenkonvertierung konzipiert ist. Es enthält nur 256M Parameter und kann Dokumente auf Consumer-GPUs schnell verarbeiten, mit einer Bearbeitungszeit von nur 0,35 Sekunden pro Seite. Die Kernaufgabe von SmolDocling besteht darin, komplexe Inhalte aus beliebigen Bildern in editierbare, strukturierte Daten umzuwandeln.

SmolDocling Funktionen

• DocTags für effizientes Markieren: Einführung von DocTags, einer effizienten und prägnaten Dokumentrepräsentation, die vollständig mit DoclingDocuments kompatibel ist.

• OCR (Optical Character Recognition): Kann Text präzise aus Bildern extrahieren.

• Layout und Positionierung: Bewahrt die Dokumentstruktur und die Bounding Boxes der Dokumentelemente.

• Code-Erkennung: Erkennt und formatiert Codeblöcke, einschließlich Einrückung.

• Formelerkennung: Erkennt und verarbeitet mathematische Ausdrücke.

• Diagramm-Erkennung: Extrahiert und interpretiert Diagrammdaten.

• Tabellenerkennung: Unterstützt strukturierte Tabellenextraktion mit Spalten- und Zeilenüberschriften.

• Grafikklassifizierung: Unterscheidet zwischen Grafiken und grafischen Elementen.

• Bildunterschriften-Zuordnung: Verknüpft Bildunterschriften mit den zugehörigen Bildern und Grafiken.

• Listen-Gruppierung: Organisiert und strukturiert Listenelemente korrekt.

• Vollseitige Konvertierung: Verarbeitet die gesamte Seite, einschließlich aller Elemente auf der Seite (Code, Gleichungen, Tabellen, Diagramme usw.).

• OCR mit Bounding Boxes: Verwendet Bounding Boxes zur OCR-Bereichserkennung.

• Allgemeine Dokumentenverarbeitung: Geeignet für das Training mit wissenschaftlichen und nicht-wissenschaftlichen Dokumenten.

• Nahtlose Docling-Integration: Kann in Docling importiert und in verschiedene Formate exportiert werden (z. B. HTML, Markdown usw.).

• Schnelle Inferenz: Durchschnittliche Bearbeitungszeit von 0,35 Sekunden pro Seite auf einer A100 GPU.

Modellerweiterung und -optimierung

• Unterstützung mehrerer Anweisungen: Unterstützt verschiedene Anweisungen, wie z. B. die Konvertierung einer Seite in DocTags, die Konvertierung von Diagrammen in Tabellen, die Konvertierung von Formeln in LaTeX usw.

• Mehrsprachige Unterstützung: Obwohl hauptsächlich Englisch unterstützt wird, kann die Unterstützung weiterer Sprachen durch Erweiterungen möglich sein.

• Kontinuierliche Verbesserung: Verbesserung der Diagrammerkennung, Unterstützung von Mehseiten-Inferenz, chemischer Erkennung und weiterer Funktionen.

SmolDocling Anwendungsfälle

• Wissenschaftliche Forschung: Schnelle Konvertierung von wissenschaftlichen Arbeiten und Forschungsberichten in strukturierte Formate zur einfacheren Extraktion wichtiger Informationen.

• Verarbeitung von Geschäftsdokumenten: Automatische Konvertierung von Geschäftsverträgen, Berichten und Tabellen, um Unternehmen die Dokumentenspeicherung, -abfrage und -analyse zu erleichtern.

• Technisches Dokumentenmanagement: Konvertierung technischer Handbücher, Code-Dokumentation usw. in editierbare Formate mit genauer Erkennung und Formatierung von Code-Snippets.

• Bildungsbereich: Extraktion und Konvertierung von Inhalten aus Lehrbüchern und Vorlesungsunterlagen (wie Formeln, Diagrammen) in leicht verständliche Formate.

• Verarbeitung medizinischer Dokumente: Verarbeitung medizinischer Berichte und Forschungsarbeiten, Extraktion wichtiger Informationen zur Unterstützung medizinischer Entscheidungen.

• Unterstützung für mobile und ressourcenbeschränkte Geräte: Kann auf mobilen Geräten oder in ressourcenbeschränkten Umgebungen ausgeführt werden.

SmolDocling Verwendung

1. Modell-Download: SmolDocling kann aus der Hugging Face-Modellbibliothek heruntergeladen werden.

2. Lokale Bereitstellung: Aufgrund seiner geringen Größe kann es auf gewöhnlichen Laptops oder mobilen Geräten ausgeführt werden.

3. API-Aufruf: SmolDocling kann über die von Hugging Face bereitgestellte API-Schnittstelle aufgerufen werden.

4. Feinabstimmung des Modells: Entwickler können das Modell durch Feinabstimmung an bestimmte Szenarien anpassen, wie z. B. die Analyse medizinischer Berichte oder die Erkennung von Finanztabellen.

Hugging Face Modellbibliothek:https://huggingface.co/ds4sd/SmolDocling-256M-preview

DEMO:https://huggingface.co/spaces/ds4sd/SmolDocling-256M-Demo