SmolDocling: un modelo ligero de visión-lenguaje para convertir documentos complejos en texto estructurado 136

¿Qué es SmolDocling?

SmolDocling es un modelo de lenguaje visual ligero desarrollado conjuntamente por IBM Research y Hugging Face, diseñado específicamente para la conversión de documentos multimodales de extremo a extremo. Contiene solo 256M de parámetros y puede procesar documentos rápidamente en GPU de consumo, con un tiempo de procesamiento de 0,35 segundos por página. La misión principal de SmolDocling es transformar contenido complejo de cualquier imagen en datos estructurados y editables.

Funciones de SmolDocling

• DocTags para marcado eficiente: introduce DocTags, una forma de representación de documentos eficiente y concisa, totalmente compatible con DoclingDocuments.

• OCR (reconocimiento óptico de caracteres): capaz de extraer texto con precisión a partir de imágenes.

• Diseño y ubicación: conserva la estructura del documento y los cuadros delimitadores de los elementos del documento.

• Reconocimiento de código: detecta y formatea bloques de código, incluida la sangría.

• Reconocimiento de fórmulas: identifica y procesa expresiones matemáticas.

• Reconocimiento de gráficos: extrae e interpreta datos de gráficos.

• Reconocimiento de tablas: admite la extracción estructurada de tablas con encabezados de columna y fila.

• Clasificación de figuras: distingue entre figuras y elementos gráficos.

• Correspondencia de subtítulos: vincula los subtítulos con las imágenes y figuras relacionadas.

• Agrupación de listas: organiza y estructura correctamente los elementos de las listas.

• Conversión de página completa: procesa toda la página, incluidos todos los elementos (código, ecuaciones, tablas, gráficos, etc.).

• OCR con cuadros delimitadores: utiliza cuadros delimitadores para el reconocimiento de regiones OCR.

• Procesamiento de documentos generales: entrenado tanto para documentos científicos como no científicos.

• Integración perfecta con Docling: se puede importar en Docling y exportar en varios formatos (como HTML, Markdown, etc.).

• Inferencia rápida: tiempo medio de procesamiento por página de 0,35 segundos en una GPU A100.

Extensión y optimización del modelo

• Soporte de múltiples instrucciones: admite diversas instrucciones, como convertir páginas a DocTags, convertir gráficos a tablas, convertir fórmulas a LaTeX, etc.

• Soporte multilingüe: aunque principalmente compatible con inglés, es posible ampliar el soporte a más idiomas.

• Mejora continua: mejoras en el reconocimiento de gráficos, soporte para inferencia de varias páginas, reconocimiento químico, etc.

Casos de uso de SmolDocling

• Investigación académica: convierte rápidamente artículos académicos e informes de investigación en formatos estructurados para facilitar la extracción de información clave.

• Procesamiento de documentos comerciales: convierte automáticamente contratos, informes y tablas comerciales para facilitar el almacenamiento, la recuperación y el análisis de documentos en la empresa.

• Gestión de documentación técnica: convierte manuales técnicos, documentación de código, etc., en formatos editables, con soporte para el reconocimiento y formateo preciso de fragmentos de código.

• Ámbito educativo: extrae y convierte contenido de libros de texto y materiales didácticos (como fórmulas, gráficos) a formatos fáciles de entender.

• Procesamiento de documentos médicos: procesa informes médicos y artículos de investigación, extrayendo información clave para ayudar en la toma de decisiones clínicas.

• Soporte para dispositivos móviles y de bajos recursos: puede ejecutarse en dispositivos móviles o entornos con recursos limitados.

Cómo usar SmolDocling

1. Descarga del modelo: SmolDocling se puede descargar desde el repositorio de modelos de Hugging Face.

2. Implementación local: debido a su reducido tamaño, puede ejecutarse en un portátil normal o en un dispositivo móvil.

3. Llamada a la API: se puede llamar a SmolDocling a través de la interfaz API proporcionada por Hugging Face.

4. Ajuste fino del modelo: los desarrolladores pueden ajustar el modelo para adaptarlo a escenarios específicos, como el análisis de informes médicos o el reconocimiento de tablas financieras.

Repositorio de modelos en Hugging Face:https://huggingface.co/ds4sd/SmolDocling-256M-preview

DEMO:https://huggingface.co/spaces/ds4sd/SmolDocling-256M-Demo