OmniSVG：复旦大学とStepFunが共同発表したオープンソースのマルチモーダルSVG生成モデル 64

OmniSVGとは？

OmniSVGは、復旦大学とStepFunが共同で発表したオープンソースのマルチモーダルSVG生成モデルで、テキスト、画像、キャラクター参照を通じて高品質なベクターグラフィックを生成することができ、2025年4月9日に正式にリリースされました。

OmniSVGの技術原理

OmniSVGは、事前学習済みの視覚-言語モデル（VLM）であるQwen-VLをベースに構築され、SVGトークナイザーを革新的に統合しています。SVGコマンドと座標を離散トークン（tokens）としてパラメータ化することで、OmniSVGはベクターグラフィックの構造ロジックと低レベルの幾何学的詳細を分離することに成功しました。この設計により、トレーニング効率が向上し、トレーニング速度が3倍以上に向上しただけでなく、複雑なSVG構造を生成する能力も維持されています。

OmniSVGの生成モード

• テキストからSVGを生成：ユーザーは自然言語による記述を通じて、意味的に関連するベクターグラフィックを生成できます。例えば「桜の木の下に座っているカートゥーン風の猫」と入力します。

• 画像からSVGを生成：ビットマップ（写真や手描きスケッチなど）をパスで構成されたベクターグラフィックに自動変換し、元の画像の視覚的特徴を保持するとともに編集可能性を獲得します。

• キャラクター参照SVG：既存のキャラクター画像をもとに、同じキャラクターの特徴を持ちながらポーズやシーンが異なるベクターグラフィックを生成し、アニメーションやゲームのキャラクターデザインに特に有用です。

データセットと評価プロトコル

SVG生成技術の発展を推進するため、OmniSVGチームはMMSVG-2Mデータセットを公開しました。これは、200万の豊富なアノテーション付きSVGリソースを含むマルチモーダルデータセットで、アイコン、イラスト、キャラクターの3つのサブセットをカバーしています。さらに、条件付きSVG生成タスクのパフォーマンスをテストするために、標準化された評価プロトコルMMSVG-Benchも提案しています。

OmniSVGの優位性

• 従来手法と比較して、OmniSVGはこれまでのSVG生成技術におけるいくつかの中核的な課題を克服しています。

• 従来手法は、構造が緩く計算コストが高い結果を生成したり、単色で過度に簡略化されたアイコンに限定されたりすることが多いという問題がありました。

• OmniSVGはエンドツーエンドのマルチモーダル生成フレームワークにより、生成品質と複雑性を大幅に向上させ、色彩豊かでディテールが生き生きとしたベクターグラフィックを生成することができます。

OmniSVGの応用シーン

• UI/UXデザイン、アニメキャラクター制作、産業用CADなどのシーンに適しています

• 生成されたSVGは直接編集可能で、無限に拡大しても劣化しません

プロジェクトアドレス：https://omnisvg.github.io/

コードリポジトリ：https://github.com/OmniSVG/OmniSVG

論文アドレス：https://arxiv.org/pdf/2504.06263