Помощник сценариста▸ 
AI Приложения 
AI Новости OmniSVG: открытая мультимодальная модель генерации SVG от Фуданьского университета и StepFun
小编 ·
OmniSVG: открытая мультимодальная модель генерации SVG от Фуданьского университета и StepFun
Что такое OmniSVG?
OmniSVG — это открытая мультимодальная модель генерации SVG, совместно разработанная Фуданьским университетом и StepFun, способная создавать высококачественную векторную графику на основе текста, изображений или референсов персонажей. Модель была официально выпущена 9 апреля 2025 года.
Технические принципы OmniSVG
OmniSVG построена на базе предобученной модели «зрение-язык» (VLM) Qwen-VL и инновационно интегрирует SVG-токенизатор. Путём параметризации SVG-команд и координат в виде дискретных токенов (tokens) OmniSVG успешно разделяет структурную логику векторной графики и низкоуровневые геометрические детали. Такое решение не только повышает эффективность обучения, но и увеличивает скорость обучения более чем в 3 раза, сохраняя при этом возможность генерации сложных SVG-структур.
Режимы генерации OmniSVG
Генерация SVG из текста: пользователи могут создавать семантически релевантную векторную графику с помощью описаний на естественном языке, например, введя «мультяшный кот, сидящий под сакурой».
Генерация SVG из изображения: автоматическое преобразование растровых изображений (таких как фотографии или нарисованные от руки эскизы) в векторную графику, состоящую из контуров, с сохранением визуальных особенностей исходного изображения и возможностью редактирования.
Генерация SVG на основе референса персонажа: создание векторной графики с теми же чертами персонажа, но с другой позой или сценой, что особенно ценно для анимации и дизайна игровых персонажей.
Набор данных и протокол оценки
Для развития технологии генерации SVG команда OmniSVG выпустила набор данных MMSVG-2M — мультимодальный набор данных, содержащий 2 миллиона SVG-ресурсов с подробными аннотациями и включающий три подмножества: иконки, иллюстрации и персонажи. Кроме того, был предложен стандартизированный протокол оценки MMSVG-Bench для тестирования производительности задач условной генерации SVG.
Преимущества OmniSVG
По сравнению с традиционными методами OmniSVG решает ряд ключевых проблем прежних технологий генерации SVG:
Традиционные методы часто давали рыхлые по структуре результаты с высокими вычислительными затратами или ограничивались одноцветными, чрезмерно упрощёнными иконками.
Благодаря сквозной мультимодальной архитектуре генерации OmniSVG значительно повышает качество и сложность результатов, позволяя создавать многоцветную, детализированную и выразительную векторную графику.
Сценарии применения OmniSVG
Подходит для UI/UX-дизайна, создания аниме-персонажей, промышленного CAD и других задач
Сгенерированный SVG можно редактировать напрямую, поддерживается бесконечное масштабирование без потери качества
Адрес проекта:https://omnisvg.github.io/
Репозиторий кода:https://github.com/OmniSVG/OmniSVG
Адрес статьи:https://arxiv.org/pdf/2504.06263
