DeTikZify: автоматическая генерация кода TikZ-графики по наброскам или изображениям от руки 204

小编 · 2025-03-22

DeTikZify — инструмент на основе мультимодальных языковых моделей, который автоматически генерирует программы TikZ-графики для научных диаграмм. Он может преобразовывать наброски от руки или существующие научные иллюстрации в семантически точный код TikZ, что полезно для построения сложных научных диаграмм.

DeTikZify: автоматическая генерация кода TikZ-графики по наброскам или изображениям от руки

Что такое DeTikZify?

DeTikZify — это инструмент, основанный на мультимодальной языковой модели, который может автоматически генерировать программы TikZ-графики для научных диаграмм. Он способен преобразовывать наброски от руки или существующие научные диаграммы в TikZ-код с сохранением семантики, который можно использовать для создания сложных научных иллюстраций.

DeTikZify：将手绘草图或图形自动生成TikZ图形代码.webp

Основные функции DeTikZify

Автоматическая генерация диаграмм: преобразование набросков от руки или существующих диаграмм в программы TikZ-графики. Сгенерированный код можно напрямую использовать в документах LaTeX.
Сохранение семантики: сгенерированные TikZ-графики не только визуально похожи на входной набросок, но и сохраняют семантическую информацию диаграммы, что удобно для последующего редактирования и модификации.
Поддержка мультимодального ввода: поддерживает различные способы ввода, включая наброски от руки, существующие диаграммы и т. д., что подходит для различных сценариев использования.

Технические особенности DeTikZify

Основан на мультимодальной языковой модели: использует передовые технологии мультимодальных языковых моделей, способных понимать графическую и текстовую информацию для генерации точного TikZ-кода.
Алгоритм рассуждений на основе MCTS: применяет алгоритм поиска по дереву Монте-Карло (MCTS), который позволяет итеративно оптимизировать сгенерированные программы TikZ без дополнительного обучения.

Сценарии использования DeTikZify

Быстрая генерация диаграмм: исследователи и студенты могут использовать DeTikZify для быстрого преобразования набросков от руки в формальные научные диаграммы, экономя время на ручном написании TikZ-кода.
Воспроизведение существующих диаграмм: для существующих диаграмм, у которых не сохранена семантическая информация, DeTikZify помогает заново сгенерировать диаграмму, что удобно для дальнейшего редактирования и модификации.

Преимущества DeTikZify

Высокое качество вывода: сгенерированные программы TikZ-графики сохраняют семантическую информацию диаграммы, обеспечивая точность и читаемость иллюстраций.
Эффективность: автоматизация процесса генерации диаграмм значительно сокращает время, затрачиваемое на ручное написание и настройку TikZ-кода.
Гибкость: поддерживает различные способы ввода и подходит для разных сценариев использования.

Установка и использование DeTikZify

Установка: DeTikZify предоставляет Python-пакет, который можно установить через pip. Кроме того, доступны онлайн-демо среды на Hugging Face Space и Google Colab.
Использование: пользователи могут запустить веб-интерфейс DeTikZify через командную строку или напрямую вызывать его функции через программный интерфейс, включая компиляцию, рендеринг и сохранение TikZ-графики.

Модели и наборы данных

Веса модели: веса модели DeTikZify и соответствующие версии моделей (например, DeTikZify-v2-8b) размещены на Hugging Face Hub.
Наборы данных: хотя из публичной версии набора данных DaTiZv2 были удалены некоторые TikZ-рисунки из arXiv, проект предоставляет скрипт для создания набора данных, позволяющий пользователям самостоятельно восстановить полный набор данных.

Для кого предназначен DeTikZify

Исследователи: специалисты, которым необходимо быстро создавать качественные научные диаграммы.
Студенты: студенты, которым необходимо строить научные диаграммы.
Пользователи LaTeX: пользователи, желающие вставлять качественные диаграммы в документы LaTeX.