StarVector：スケーラブルベクターグラフィックス生成のためのオープンソースマルチモーダル視覚モデル 203

小编 · 2025-03-22

StarVectorはServiceNow Research、Mila - Quebec AI Institute、ETS Montrealが共同開発した、スケーラブルベクターグラフィックス（SVG）生成専用の新しいオープンソースマルチモーダル視覚言語モデルです。

StarVector：スケーラブルベクターグラフィックス生成のためのオープンソースマルチモーダル視覚モデル

StarVectorとは？

StarVector は、ServiceNow Research、Mila - Quebec AI Institute、ETS Montreal が共同で開発した新しいオープンソースのマルチモーダル視覚-言語モデルで、スケーラブルベクターグラフィックス（SVG）の生成に特化しています。

StarVector：スケーラブルベクターグラフィックスを生成するためのオープンソースのマルチモーダル視覚モデル.webp

StarVectorの主な機能

画像から SVG への変換（Image-to-SVG）：画像を直接 SVG コードに変換し、画像のベクター化を実現します。
テキストから SVG への生成（Text-to-SVG）：テキスト指示に基づいて対応する SVG グラフィックを生成できます。

StarVectorの技術的特徴

マルチモーダルアーキテクチャ：StarVector はマルチモーダルアーキテクチャを採用しており、画像とテキスト情報を同時に処理し、視覚モデルと言語モデルをシームレスに統合します。
SVG コード空間での直接操作：中間表現を用いる手法とは異なり、StarVector は SVG コード空間で直接操作を行い、標準的で編集可能な SVG コードを生成します。
大規模データセットでの学習：StarVector は 200 万以上の SVG サンプルを含む SVG-Stack データセットで学習されており、さまざまなベクター化タスクへの汎化能力を保証しています。

StarVectorのアーキテクチャと仕組み

画像エンコーダー：Vision Transformer（ViT）を使用して画像を処理し、画像を小さなパッチに分割して順番に処理します。
LLM アダプター：画像エンコーダーが生成した埋め込みベクトルを視覚トークンに非線形投影し、言語モデルと統合します。
Transformer デコーダーアーキテクチャ：視覚トークンまたはテキストトークンのシーケンスを SVG コードにマッピングします。

StarVectorのパフォーマンス

画像から SVG への変換およびテキストから SVG への生成タスクにおいて、StarVector は既存モデルよりも優れたパフォーマンスを発揮します。例えば、SVG-Bench ベンチマークテストでは、StarVector-8B は複数の指標で GPT-4 Vision（2023）や Potrace などのモデルを上回っています。

SVG-Diagrams データセットの画像ベクター化タスクにおいて、StarVector-8B は DinoScore や LPIPS などの指標で優れたパフォーマンスを示しています。