OmniSVG: Open-Source-Multimodal-SVG-Generierungsmodell von Fudan-Universität und StepFun 65

Was ist OmniSVG?

OmniSVG ist ein Open-Source-Modell zur multimodalen SVG-Generierung, das gemeinsam von der Fudan-Universität und StepFun entwickelt wurde. Es kann hochwertige Vektorgrafiken aus Text, Bildern oder Charakterreferenzen erzeugen und wurde am 9. April 2025 offiziell veröffentlicht.

Technische Grundlagen von OmniSVG

OmniSVG basiert auf dem vortrainierten Vision-Language-Modell (VLM) Qwen-VL und integriert innovativ einen SVG-Tokenizer. Durch die Parametrisierung von SVG-Befehlen und Koordinaten als diskrete Tokens gelingt es OmniSVG, die strukturelle Logik von Vektorgrafiken von den niedrigstufigen geometrischen Details zu entkoppeln. Dieses Design verbessert nicht nur die Trainingseffizienz, sondern steigert auch die Trainingsgeschwindigkeit um mehr als das Dreifache, während die Fähigkeit zur Erzeugung komplexer SVG-Strukturen erhalten bleibt.

Generierungsmodi von OmniSVG

• Text zu SVG: Benutzer können semantisch relevante Vektorgrafiken durch natürlichsprachliche Beschreibungen erzeugen, zum Beispiel durch die Eingabe „eine Cartoon-Katze, die unter einem Kirschblütenbaum sitzt“.

• Bild zu SVG: Wandelt automatisch Bitmaps (wie Fotos oder handgezeichnete Skizzen) in aus Pfaden bestehende Vektorgrafiken um, wobei die visuellen Merkmale des Originalbilds erhalten bleiben und gleichzeitig die Bearbeitbarkeit ermöglicht wird.

• Charakterreferenz-SVG: Erzeugt Vektorgrafiken mit denselben Charaktermerkmalen wie ein vorhandenes Charakterbild, jedoch mit unterschiedlichen Posen oder Szenen – besonders wertvoll für Animations- und Spielecharakterdesign.

Datensatz und Bewertungsprotokoll

Um die Entwicklung der SVG-Generierungstechnologie voranzutreiben, hat das OmniSVG-Team den Datensatz MMSVG-2M veröffentlicht. Dies ist ein multimodaler Datensatz mit 2 Millionen reichhaltig annotierten SVG-Ressourcen, der drei Teilmengen umfasst: Icons, Illustrationen und Charaktere. Darüber hinaus schlagen sie ein standardisiertes Bewertungsprotokoll namens MMSVG-Bench vor, um die Leistung bei bedingten SVG-Generierungsaufgaben zu testen.

Vorteile von OmniSVG

• Im Vergleich zu herkömmlichen Methoden überwindet OmniSVG einige zentrale Probleme früherer SVG-Generierungstechniken:

• Herkömmliche Methoden erzeugen oft strukturell lockere, rechenintensive Ergebnisse oder beschränken sich auf einfarbige, zu stark vereinfachte Icons.

• Durch sein Ende-zu-Ende-Framework für multimodale Generierung verbessert OmniSVG die Generierungsqualität und -komplexität deutlich und kann farbenreiche, detailreiche Vektorgrafiken erzeugen.

Anwendungsszenarien für OmniSVG

• Geeignet für UI/UX-Design, Anime-Charaktererstellung, industrielles CAD und weitere Szenarien

• Generierte SVGs sind direkt bearbeitbar und unterstützen verlustfreie unendliche Skalierung

Projekt-Website:https://omnisvg.github.io/

Code-Repository:https://github.com/OmniSVG/OmniSVG

Papier-Link:https://arxiv.org/pdf/2504.06263