SmolDocling: лёгкая визуально-языковая модель для преобразования сложных документов в структурированный текст 132

Что такое SmolDocling?

SmolDocling — это лёгкая визуально-языковая модель, совместно разработанная IBM Research и Hugging Face, предназначенная для сквозной мультимодальной конвертации документов. Она содержит всего 256M параметров и способна быстро обрабатывать документы на потребительских GPU, при этом время обработки одной страницы составляет всего 0,35 секунды. Основная миссия SmolDocling — преобразование сложного содержимого любых изображений в редактируемые структурированные данные.

Функции SmolDocling

• DocTags для эффективной разметки: представлены DocTags — эффективный и компактный способ представления документов, полностью совместимый с DoclingDocuments.

• OCR (оптическое распознавание символов): точное извлечение текста из изображений.

• Макет и позиционирование: сохранение структуры документа и ограничивающих рамок элементов документа.

• Распознавание кода: обнаружение и форматирование блоков кода, включая отступы.

• Распознавание формул: распознавание и обработка математических выражений.

• Распознавание диаграмм: извлечение и интерпретация данных диаграмм.

• Распознавание таблиц: поддержка структурированного извлечения таблиц с заголовками столбцов и строк.

• Классификация графики: различение графиков и элементов графиков.

• Связывание заголовков: привязка заголовков к соответствующим изображениям и графикам.

• Группировка списков: правильная организация и структурирование элементов списков.

• Конвертация всей страницы: обработка всей страницы целиком, включая все элементы (код, формулы, таблицы, диаграммы и т. д.).

• OCR с ограничивающими рамками: распознавание текстовых областей с помощью ограничивающих рамок.

• Универсальная обработка документов: обучение как на научных, так и на ненаучных документах.

• Бесшовная интеграция с Docling: можно импортировать в Docling и экспортировать в различных форматах (например, HTML, Markdown и др.).

• Быстрый вывод: среднее время обработки одной страницы на GPU A100 составляет 0,35 секунды.

Расширение и оптимизация модели

• Поддержка множества инструкций: поддержка различных инструкций, таких как преобразование страницы в DocTags, преобразование диаграмм в таблицы, преобразование формул в LaTeX и др.

• Многоязычная поддержка: хотя основная поддержка — английский язык, возможно расширение для поддержки большего числа языков.

• Постоянное улучшение: улучшение распознавания диаграмм, поддержка многостраничного вывода, распознавание химических формул и другие функции.

Сценарии применения SmolDocling

• Академические исследования: быстрое преобразование научных статей и исследовательских отчётов в структурированный формат для удобства извлечения ключевой информации.

• Обработка коммерческих документов: автоматическое преобразование коммерческих контрактов, отчётов и таблиц для облегчения хранения, поиска и анализа документов в компаниях.

• Управление технической документацией: преобразование технических руководств, документации по коду и т. д. в редактируемый формат с точной поддержкой распознавания и форматирования фрагментов кода.

• Образовательная сфера: извлечение содержимого из учебников и лекций (формул, диаграмм и т. д.) и преобразование его в легко воспринимаемый формат.

• Обработка медицинской документации: обработка медицинских отчётов и научных работ, извлечение ключевой информации для поддержки принятия медицинских решений.

• Поддержка мобильных устройств и устройств с ограниченными ресурсами: возможность работы на мобильных устройствах или в средах с ограниченными ресурсами.

Как использовать SmolDocling

1. Загрузка модели: SmolDocling можно загрузить из репозитория моделей Hugging Face.

2. Локальное развёртывание: благодаря небольшому размеру модель может работать на обычном ноутбуке или мобильном устройстве.

3. Вызов через API: SmolDocling можно вызывать через API-интерфейс, предоставляемый Hugging Face.

4. Тонкая настройка модели: разработчики могут адаптировать модель к конкретным сценариям с помощью тонкой настройки, например, для разбора медицинских отчётов или распознавания финансовых таблиц.

Репозиторий моделей Hugging Face:https://huggingface.co/ds4sd/SmolDocling-256M-preview

ДЕМО:https://huggingface.co/spaces/ds4sd/SmolDocling-256M-Demo