StarVector: un modelo de visión multimodal de código abierto para generar gráficos vectoriales escalables 201

小编 · 2025-03-22

StarVector es un nuevo modelo multimodal de visión-lenguaje de código abierto, desarrollado conjuntamente por ServiceNow Research, Mila - Quebec AI Institute y ETS Montreal, diseñado específicamente para generar gráficos vectoriales escalables (SVG).

StarVector: un modelo de visión multimodal de código abierto para generar gráficos vectoriales escalables

¿Qué es StarVector?

StarVector：用于生成可缩放矢量图形的开源多模态视觉模型.webp

Funciones principales de StarVector

Conversión de imagen a SVG (Image-to-SVG): capaz de convertir imágenes directamente en código SVG, logrando la vectorización de las imágenes.
Generación de texto a SVG (Text-to-SVG): puede generar los gráficos SVG correspondientes a partir de instrucciones de texto.

Características técnicas de StarVector

Arquitectura multimodal: StarVector adopta una arquitectura multimodal capaz de procesar simultáneamente información visual y textual, integrando a la perfección los modelos de visión y lenguaje.
Operación directa en el espacio de código SVG: a diferencia de algunos métodos basados en representaciones intermedias, StarVector trabaja directamente en el espacio de código SVG, generando código SVG estándar y editable.
Entrenamiento con conjuntos de datos a gran escala: StarVector se entrena en el conjunto de datos SVG-Stack, que contiene más de 2 millones de muestras SVG, garantizando que el modelo pueda generalizarse a diversas tareas de vectorización.
Dos modelos según escala: ofrece dos modelos, StarVector-1B (con 1000 millones de parámetros) y StarVector-8B (con 8000 millones de parámetros), para satisfacer diferentes necesidades de recursos computacionales y rendimiento.

Arquitectura y principios de StarVector

Codificador de imágenes: utiliza Vision Transformer (ViT) para procesar las imágenes, dividiéndolas en pequeños fragmentos y procesándolos secuencialmente.
Adaptador LLM: proyecta de forma no lineal los embeddings generados por el codificador de imágenes en tokens visuales para integrarlos con el modelo de lenguaje.
Arquitectura de decodificador Transformer: mapea secuencias de tokens visuales o textuales en código SVG.

Rendimiento de StarVector

En las tareas de conversión de imagen a SVG y de texto a SVG, el rendimiento de StarVector supera al de los modelos existentes; por ejemplo, en el benchmark SVG-Bench, StarVector-8B supera a modelos como GPT-4 Vision (2023) y Potrace en múltiples métricas.

En la tarea de vectorización de imágenes del conjunto de datos SVG-Diagrams, StarVector-8B presenta un rendimiento destacado en métricas como DinoScore y LPIPS.

Casos de uso de StarVector

Diseño y creatividad: ayuda a los diseñadores a generar rápidamente archivos SVG, mejorando la eficiencia del diseño.
Dibujo técnico y generación de gráficos: capaz de generar gráficos y diagramas técnicos complejos, aplicable a campos como la ingeniería y la ciencia.