OmniSVG: 푸단대학교와 StepFun이 공동 출시한 오픈소스 멀티모달 SVG 생성 모델 61

小编 · 2025-04-14

OmniSVG는 푸단대학교와 StepFun이 공동 출시한 오픈소스 멀티모달 SVG 생성 모델로, 텍스트, 이미지, 캐릭터 참조로부터 고품질 벡터 그래픽을 생성할 수 있으며 2025년 4월 9일 정식 출시되었습니다.

OmniSVG: 푸단대학교와 StepFun이 공동 출시한 오픈소스 멀티모달 SVG 생성 모델

OmniSVG란 무엇인가?

OmniSVG는 복단대학교와 StepFun이 공동 출시한 오픈소스 멀티모달 SVG 생성 모델로, 텍스트, 이미지 또는 캐릭터 참조를 통해 고품질 벡터 그래픽을 생성할 수 있으며, 2025년 4월 9일에 정식 발표되었습니다.

OmniSVG 기술 원리

OmniSVG는 사전 학습된 비전-언어 모델(VLM)인 Qwen-VL을 기반으로 구축되었으며, SVG 토크나이저를 혁신적으로 통합했습니다. SVG 명령과 좌표를 이산 토큰(tokens)으로 매개화함으로써, OmniSVG는 벡터 그래픽의 구조적 논리와 저수준 기하학적 세부 사항을 성공적으로 분리했습니다. 이러한 설계는 학습 효율을 높였을 뿐만 아니라 학습 속도를 3배 이상 향상시켰으며, 동시에 복잡한 SVG 구조를 생성하는 능력을 보존했습니다.

OmniSVG技术原理.webp

OmniSVG 생성 모드

텍스트로 SVG 생성: 사용자는 자연어 설명을 통해 의미적으로 관련된 벡터 그래픽을 생성할 수 있습니다. 예를 들어 "앵무새 아래에 앉아 있는 만화 고양이"를 입력합니다.
이미지로 SVG 생성: 비트맵(사진 또는 손그림 등)을 자동으로 경로로 구성된 벡터 그래픽으로 변환하여 원본 이미지의 시각적 특징을 보존하면서 편집 가능성을 확보합니다.
캐릭터 참조 SVG: 기존 캐릭터 이미지를 기반으로 동일한 캐릭터 특징을 가지지만 자세나 장면이 다른 벡터 그래픽을 생성하며, 애니메이션 및 게임 캐릭터 디자인에 특히 유용합니다.

데이터셋 및 평가 프로토콜

SVG 생성 기술의 발전을 촉진하기 위해, OmniSVG 팀은 MMSVG-2M 데이터셋을 공개했습니다. 이는 200만 개의 풍부한 주석이 달린 SVG 자원으로 구성된 멀티모달 데이터셋으로, 아이콘, 일러스트레이션, 캐릭터의 세 가지 하위 집합을 포함합니다. 또한, 이들은 조건부 SVG 생성 작업의 성능을 테스트하기 위한 표준화된 평가 프로토콜인 MMSVG-Bench를 제안했습니다.

数据集与评估协议.webp

OmniSVG의 장점

기존 방법과 비교하여, OmniSVG는 이전 SVG 생성 기술의 몇 가지 핵심적인 난제를 극복했습니다:
기존 방법은 종종 구조가 느슨하고 계산 비용이 높은 결과를 생성하거나, 단색 및 지나치게 단순화된 아이콘에 국한되었습니다.
OmniSVG는 종단간(end-to-end) 멀티모달 생성 프레임워크를 통해 생성 품질과 복잡성을 크게 향상시켰으며,色彩이 풍부하고 디테일이 생동감 있는 벡터 그래픽을 생성할 수 있습니다.

OmniSVG应用场景.webp