StarVector : un modèle de vision multimodal open source pour générer des graphiques vectoriels évolutifs 196

小编 · 2025-03-22

StarVector est un nouveau modèle vision-langage multimodal open source, développé conjointement par ServiceNow Research, Mila - Quebec AI Institute et ETS Montreal, spécialement conçu pour générer des graphiques vectoriels évolutifs (SVG).

StarVector : un modèle de vision multimodal open source pour générer des graphiques vectoriels évolutifs

Qu'est-ce que StarVector ?

StarVector est un nouveau modèle vision-langage multimodal open source développé conjointement par ServiceNow Research, Mila - Quebec ai Institute et ETS Montreal, spécialement conçu pour générer des graphiques vectoriels évolutifs (SVG).

StarVector : un modèle visuel multimodal open source pour générer des graphiques vectoriels évolutifs.webp

Fonctionnalités principales de StarVector

Conversion d'image en SVG (Image-to-SVG) : permet de convertir directement des images en code SVG, réalisant ainsi la vectorisation des images.
Génération de texte en SVG (Text-to-SVG) : permet de générer des graphiques SVG correspondants à partir d'instructions textuelles.

Caractéristiques techniques de StarVector

Architecture multimodale : StarVector adopte une architecture multimodale, capable de traiter simultanément des informations visuelles et textuelles, intégrant de manière transparente les modèles visuels et linguistiques.
Opération directe dans l'espace de code SVG : contrairement à certaines méthodes de représentation intermédiaires, StarVector opère directement dans l'espace de code SVG, générant du code SVG standard et éditable.
Entraînement sur un jeu de données à grande échelle : StarVector est entraîné sur le jeu de données SVG-Stack contenant plus de 2 millions d'échantillons SVG, garantissant que le modèle peut se généraliser à diverses tâches de vectorisation.
Deux tailles de modèles : propose deux modèles, StarVector-1B (contenant 1 milliard de paramètres) et StarVector-8B (contenant 8 milliards de paramètres), afin de répondre à différents besoins en ressources de calcul et en performances.

Architecture et principes de StarVector

Encodeur d'images : utilise le Vision Transformer (ViT) pour traiter les images, en les divisant en petits patches et en les traitant séquentiellement.
Adaptateur LLM : projette de manière non linéaire les vecteurs d'embedding générés par l'encodeur d'images en tokens visuels, afin de s'intégrer au modèle de langage.
Architecture de décodeur Transformer : mappe des séquences de tokens visuels ou textuels vers du code SVG.

Performances de StarVector

Dans les tâches d'image vers SVG et de texte vers SVG, les performances de StarVector surpassent celles des modèles existants. Par exemple, sur le benchmark SVG-Bench, StarVector-8B obtient de meilleurs résultats que GPT-4 Vision (2023) et Potrace sur plusieurs indicateurs.

Sur la tâche de vectorisation d'images du jeu de données SVG-Diagrams, StarVector-8B obtient d'excellents résultats sur des indicateurs tels que DinoScore et LPIPS.

Cas d'utilisation de StarVector

Domaine du design et de la création : aide les designers à générer rapidement des fichiers SVG, améliorant ainsi l'efficacité de la conception.
Dessin technique et génération de graphiques : capable de générer des graphiques techniques et des diagrammes complexes, adaptés aux domaines de l'ingénierie, de la science, etc.