OmniSVG: modelo multimodal de código abierto para generar SVG, desarrollado por la Universidad de Fudan y StepFun 59

¿Qué es OmniSVG?

OmniSVG es un modelo de generación de SVG multimodal de código abierto presentado conjuntamente por la Universidad de Fudan y StepFun. Es capaz de generar gráficos vectoriales de alta calidad a partir de texto, imágenes o referencias de personajes, y se lanzó oficialmente el 9 de abril de 2025.

Principio técnico de OmniSVG

OmniSVG se basa en el modelo visión-lenguaje (VLM) preentrenado Qwen-VL e integra de forma innovadora un tokenizador de SVG. Al parametrizar los comandos SVG y las coordenadas como tokens discretos, OmniSVG desacopla con éxito la lógica estructural de los gráficos vectoriales de los detalles geométricos de bajo nivel. Este diseño no solo mejora la eficiencia del entrenamiento, sino que también multiplica por más de 3 la velocidad de entrenamiento, al mismo tiempo que conserva la capacidad de generar estructuras SVG complejas.

Modos de generación de OmniSVG

• Generación de SVG a partir de texto: los usuarios pueden generar gráficos vectoriales semánticamente relacionados mediante descripciones en lenguaje natural, por ejemplo, introduciendo "un gato cartoon sentado bajo un cerezo en flor".

• Generación de SVG a partir de imágenes: convierte automáticamente mapas de bits (como fotos o bocetos a mano) en gráficos vectoriales compuestos por rutas, conservando las características visuales de la imagen original y obteniendo al mismo tiempo capacidad de edición.

• SVG con referencia de personaje: genera gráficos vectoriales con las mismas características de un personaje existente pero con distintas posturas o escenas, lo que resulta especialmente valioso para la animación y el diseño de personajes en videojuegos.

Conjunto de datos y protocolo de evaluación

Con el fin de impulsar el desarrollo de la tecnología de generación de SVG, el equipo de OmniSVG ha publicado el conjunto de datos MMSVG-2M. Se trata de un conjunto de datos multimodal que contiene 2 millones de recursos SVG con anotaciones enriquecidas, abarcando tres subconjuntos: iconos, ilustraciones y personajes. Además, han propuesto un protocolo de evaluación estandarizado, MMSVG-Bench, para evaluar el rendimiento en tareas de generación condicional de SVG.

Ventajas de OmniSVG

• En comparación con los métodos tradicionales, OmniSVG supera algunos de los desafíos centrales de las técnicas previas de generación de SVG:

• Los métodos tradicionales a menudo generaban resultados con estructuras poco cohesionadas y costes computacionales elevados, o se limitaban a iconos monocromáticos y demasiado simplificados.

• OmniSVG, mediante un marco de generación multimodal de extremo a extremo, mejora significativamente la calidad y la complejidad de la generación, siendo capaz de producir gráficos vectoriales con colores ricos y detalles vívidos.

Escenarios de aplicación de OmniSVG

• Adecuado para escenarios como diseño UI/UX, creación de personajes de anime, CAD industrial, entre otros.

• Los SVG generados se pueden editar directamente y admiten ampliación infinita sin pérdida de calidad.

Dirección del proyecto:https://omnisvg.github.io/

Repositorio de código:https://github.com/OmniSVG/OmniSVG

Dirección del artículo:https://arxiv.org/pdf/2504.06263