StarVector: 확장 가능한 벡터 그래픽 생성을 위한 오픈소스 멀티모달 비전 모델 198

小编 · 2025-03-22

StarVector는 ServiceNow Research, Mila - Quebec AI Institute, ETS Montreal이 공동 개발한, 확장 가능한 벡터 그래픽(SVG) 생성 전용 오픈소스 멀티모달 비전-언어 모델입니다.

StarVector: 확장 가능한 벡터 그래픽 생성을 위한 오픈소스 멀티모달 비전 모델

StarVector란 무엇인가요?

StarVector는 ServiceNow Research, Mila - Quebec ai Institute 및 ETS Montreal이 공동 개발한 새로운 오픈소스 멀티모달 비전-언어 모델로, 확장 가능한 벡터 그래픽(SVG) 생성을 위해 특별히 설계되었습니다.

StarVector：用于生成可缩放矢量图形的开源多模态视觉模型.webp

StarVector 핵심 기능

이미지에서 SVG로 변환(Image-to-SVG): 이미지를 직접 SVG 코드로 변환하여 이미지를 벡터화할 수 있습니다.
텍스트에서 SVG로 생성(Text-to-SVG): 텍스트 명령에 따라 해당 SVG 그래픽을 생성할 수 있습니다.

StarVector 기술 특징

멀티모달 아키텍처: StarVector는 멀티모달 아키텍처를 채택하여 이미지와 텍스트 정보를 동시에 처리하고, 비전 모델과 언어 모델을 원활하게 통합합니다.
SVG 코드 공간 직접 조작: 일부 중간 표현 방법과 달리, StarVector는 SVG 코드 공간에서 직접 작동하여 표준이고 편집 가능한 SVG 코드를 생성합니다.
대규모 데이터셋 학습: StarVector는 200만 개 이상의 SVG 샘플을 포함하는 SVG-Stack 데이터셋에서 학습되어, 다양한 벡터화 작업에 모델을 일반화할 수 있도록 보장합니다.
두 가지 규모의 모델: 서로 다른 컴퓨팅 리소스 및 성능 요구 사항을 충족하기 위해 StarVector-1B(10억 개 매개변수 포함)와 StarVector-8B(80억 개 매개변수 포함) 두 가지 모델을 제공합니다.

StarVector 아키텍처 및 원리

이미지 인코더: Vision Transformer(ViT)를 사용하여 이미지를 처리하고, 이미지를 작은 블록으로 분할한 후 순차적으로 처리합니다.
LLM 어댑터: 이미지 인코더에서 생성된 임베딩 벡터를 비선형적으로 비주얼 토큰에 투영하여 언어 모델과 통합합니다.
Transformer 디코더 아키텍처: 비주얼 토큰 또는 텍스트 토큰 시퀀스를 SVG 코드에 매핑합니다.

StarVector 성능

이미지에서 SVG로 및 텍스트에서 SVG로 작업에서 StarVector는 기존 모델보다 뛰어난 성능을 보입니다. 예를 들어 SVG-Bench 벤치마크 테스트에서 StarVector-8B는 여러 지표에서 GPT-4 Vision(2023) 및 Potrace 등의 모델보다 우수합니다.

SVG-Diagrams 데이터셋의 이미지 벡터화 작업에서 StarVector-8B는 DinoScore 및 LPIPS 등의 지표에서 뛰어난 성능을 보입니다.