DeTikZify: Automatische Erzeugung von TikZ-Grafikcode aus handgezeichneten Skizzen oder Figuren 200

Was ist DeTikZify?

DeTikZify ist ein auf einem multimodalen Sprachmodell basierendes Tool, das automatisch TikZ-Grafikprogramme für wissenschaftliche Diagramme generiert. Es kann handgezeichnete Skizzen oder bestehende wissenschaftliche Diagramme in semantikerhaltenden TikZ-Code umwandeln, der zum Zeichnen komplexer wissenschaftlicher Diagramme verwendet werden kann.

Kernfunktionen von DeTikZify

• Automatische Diagrammgenerierung: Wandelt handgezeichnete Skizzen oder bestehende Diagramme in TikZ-Grafikprogramme um. Der generierte Code kann direkt in LaTeX-Dokumenten verwendet werden.

• Semantikerhaltung: Die generierten TikZ-Grafiken sind nicht nur visuell ähnlich zur Eingabeskizze, sondern bewahren auch die semantischen Informationen des Diagramms, was spätere Bearbeitungen und Änderungen erleichtert.

• Unterstützung multimodaler Eingaben: Unterstützt verschiedene Eingabemethoden, einschließlich handgezeichneter Skizzen und bestehender Diagramme, und ist somit für unterschiedliche Einsatzszenarien geeignet.

Technische Merkmale von DeTikZify

• Basiert auf multimodalen Sprachmodellen: Nutzt fortschrittliche multimodale Sprachmodell-Technologie, die Bild- und Textinformationen versteht, um präzisen TikZ-Code zu generieren.

• MCTS-basierter Inferenzalgorithmus: Verwendet den Monte-Carlo-Baumsuchalgorithmus (MCTS), der die generierten TikZ-Programme iterativ optimieren kann, ohne zusätzliches Training.

Einsatzszenarien von DeTikZify

• Schnelle Diagrammerstellung: Forscher und Studenten können mit DeTikZify handgezeichnete Skizzen schnell in formale wissenschaftliche Diagramme umwandeln und so Zeit beim manuellen Schreiben von TikZ-Code sparen.

• Reproduktion bestehender Diagramme: Für bestehende Diagramme, deren semantische Informationen nicht gespeichert sind, kann DeTikZify helfen, die Diagramme neu zu generieren, um weitere Bearbeitungen und Änderungen zu ermöglichen.

Vorteile von DeTikZify

• Hochwertige Ausgabe: Die generierten TikZ-Grafikprogramme bewahren die semantischen Informationen des Diagramms und gewährleisten Genauigkeit und Lesbarkeit.

• Hohe Effizienz: Durch den automatisierten Diagrammgenerierungsprozess wird die Zeit für manuelles Schreiben und Anpassen von TikZ-Code erheblich reduziert.

• Flexibilität: Unterstützt verschiedene Eingabemethoden und ist für unterschiedliche Einsatzszenarien geeignet.

Installation und Nutzung von DeTikZify

• Installation: DeTikZify wird als Python-Paket bereitgestellt und kann über pip installiert werden. Darüber hinaus stehen Online-Demo-Umgebungen über Hugging Face Space und Google Colab zur Verfügung.

• Nutzung: Benutzer können die Web-UI von DeTikZify über die Kommandozeile starten oder dessen Funktionen direkt über die Programmierschnittstelle aufrufen, einschließlich Kompilieren, Rendern und Speichern von TikZ-Grafiken.

Modelle und Datensätze

• Modellgewichte: Die Modellgewichte von DeTikZify und zugehörige Modellversionen (wie DeTikZify-v2-8b) sind auf dem Hugging Face Hub gehostet.

• Datensatz: Obwohl einige TikZ-Zeichnungen aus arXiv in der öffentlichen Version des DaTiZv2-Datensatzes entfernt wurden, stellt das Projekt ein Skript zur Erstellung des Datensatzes bereit, mit dem Benutzer den vollständigen Datensatz selbst rekonstruieren können.

Zielgruppe von DeTikZify

• Forscher: Forscher, die schnell hochwertige wissenschaftliche Diagramme erstellen müssen.

• Studenten: Studenten, die wissenschaftliche Diagramme zeichnen müssen.

• LaTeX-Nutzer: Nutzer, die hochwertige Diagramme in LaTeX-Dokumente einfügen möchten.

Zugehörige Links

GitHub-Repository:https://github.com/potamides/DeTikZify

Hugging-Face-Modellseite:https://huggingface.co/nllg/detikzify-v2-8b

Hugging-Face-Datensatzseite:https://huggingface.co/collections/nllg/detikzify-664460c521aa7c2880095a8b

Demo ausprobieren:https://nllg-detikzify.hf.space/