StarVector: мультимодальная модель зрения с открытым исходным кодом для генерации масштабируемой векторной графики 199

小编 · 2025-03-22

StarVector — новая мультимодальная модель vision-language с открытым исходным кодом, совместно разработанная ServiceNow Research, Mila — Quebec AI Institute и ETS Montreal, специально предназначенная для генерации масштабируемой векторной графики (SVG).

StarVector: мультимодальная модель зрения с открытым исходным кодом для генерации масштабируемой векторной графики

Что такое StarVector?

StarVector — это новая открытая мультимодальная модель «визуальный-языковой», разработанная совместно ServiceNow Research, Mila — Quebec ai Institute и ETS Montreal, специально предназначенная для генерации масштабируемой векторной графики (SVG).

StarVector: мультимодальная визуальная модель с открытым исходным кодом для генерации масштабируемой векторной графики.webp

Ключевые функции StarVector

Преобразование изображения в SVG (Image-to-SVG): возможность напрямую преобразовывать изображения в SVG-код, обеспечивая векторизацию изображений.
Генерация SVG по тексту (Text-to-SVG): возможность создавать SVG-графику по текстовым инструкциям.

Технические особенности StarVector

Мультимодальная архитектура: StarVector использует мультимодальную архитектуру, способную одновременно обрабатывать изображения и текстовую информацию, обеспечивая бесшовную интеграцию визуальной и языковой моделей.
Непосредственная работа в пространстве SVG-кода: в отличие от некоторых методов с промежуточным представлением, StarVector работает напрямую в пространстве SVG-кода, генерируя стандартный, редактируемый SVG-код.
Обучение на крупномасштабном наборе данных: StarVector обучен на наборе данных SVG-Stack, содержащем более 2 миллионов SVG-образцов, что обеспечивает обобщение модели на различные задачи векторизации.
Две версии модели по размеру: доступны StarVector-1B (с 1 миллиардом параметров) и StarVector-8B (с 8 миллиардами параметров), что позволяет удовлетворить различные потребности в вычислительных ресурсах и производительности.

Архитектура и принцип работы StarVector

Кодировщик изображений: использует Vision Transformer (ViT) для обработки изображений, разбивая их на небольшие фрагменты и обрабатывая их последовательно.
Адаптер LLM: выполняет нелинейное проецирование векторных представлений, полученных кодировщиком изображений, в визуальные токены для интеграции с языковой моделью.
Архитектура декодера Transformer: преобразует последовательности визуальных или текстовых токенов в SVG-код.

Производительность StarVector

В задачах преобразования изображения в SVG и текста в SVG StarVector превосходит существующие модели; например, в бенчмарке SVG-Bench модель StarVector-8B превосходит GPT-4 Vision (2023) и такие модели, как Potrace, по ряду показателей.

В задачах векторизации изображений на наборе данных SVG-Diagrams модель StarVector-8B демонстрирует отличные результаты по таким метрикам, как DinoScore и LPIPS.

Сценарии применения StarVector

Дизайн и творческая сфера: помогает дизайнерам быстро создавать SVG-файлы, повышая эффективность проектирования.
Техническое черчение и создание диаграмм: способен генерировать сложные технические диаграммы и графику, что применимо в инженерии, науке и других областях.