Migician: мультимодальная модель от Цинхуа и партнёров для локализации объектов на нескольких изображениях в сложных сценах 200

Что такое Migician?

Migician — это мультимодальная большая языковая модель, разработанная совместно Университетом Цинхуа, Пекинским транспортным университетом и Хуачжунским университетом науки и технологий, способная выполнять свободную (free-form) и точную локализацию в сценариях с несколькими изображениями. Она поддерживает быстрое определение местоположения целевых областей на нескольких изображениях с помощью текстовых описаний, изображений или их комбинации, что повышает возможности локализации в сценариях с несколькими изображениями.

Основные функции Migician

• Кросс-изображенческая локализация: Migician поддерживает различные методы кросс-изображенческой локализации, включая «поиск по изображению» и комбинированные запросы «текст + изображение». Например, в системах видеонаблюдения при вводе текстового описания вроде «мужчина в чёрной куртке, синих джинсах и белой бейсболке» модель способна быстро находить соответствующего человека среди множества кадров наблюдения.

• Мультимодальное слияние: благодаря передовой нейросетевой архитектуре Migician эффективно объединяет визуальную и языковую информацию, глубоко анализируя семантические связи между изображениями. Например, при обработке задачи «найти изображение с красным автомобилем среди набора городских уличных сцен» модель извлекает визуальные признаки, такие как цвет и форма, а также анализирует семантическую информацию «красный автомобиль» из текста, после чего объединяет их для более точной локализации цели.

• Оптимизация с помощью рассуждений CoT (Chain-of-Thought): Migician внедряет оптимизацию рассуждений CoT, разбивая сложные задачи на несколько более простых подзадач и пошагово выводя окончательный ответ. Например, при локализации предмета в определённой комнате модель сначала определяет возможное местоположение комнаты на основе текстового описания, а затем точно находит предмет на изображениях в этой области.

• Сквозная архитектура (end-to-end): Migician использует сквозную архитектуру, которая напрямую обрабатывает входные данные с несколькими изображениями, избегая накопления ошибок и низкой эффективности, характерных для традиционных пошаговых методов рассуждения.

Производительность модели

• Показатели производительности: Migician демонстрирует выдающиеся результаты в задачах локализации на нескольких изображениях, значительно превосходя существующие MLLM и даже превосходя более крупные модели с 70 миллиардами параметров в ряде задач. В частности, производительность Migician на MIG-Bench на 21,61% выше, чем у лучших существующих MLLM.

• Метрики оценки: MIG-Bench предоставляет метрики оценки, такие как [email protected], [email protected], [email protected] и средний IOU. Пользователи могут выполнить оценку в один клик, запустив скрипт MIG_bench_eval.py.

Сценарии применения Migician

• Видеонаблюдение и безопасность: анализ в реальном времени изображений с нескольких камер наблюдения для быстрого обнаружения подозрительных лиц, транспортных средств или аномальных событий.

• Автономное вождение: объединение изображений, полученных с различных датчиков транспортного средства, в сочетании с текстовыми описаниями дороги, препятствий, дорожных знаков и т. д., помогает автомобилю более точно воспринимать окружающую среду.

• Медицинская визуализация: быстрая локализация областей поражения на нескольких медицинских снимках для помощи в диагностике заболеваний.

• Робототехника и воплощённый интеллект: помогает роботам быстро находить целевые объекты в сложных условиях для выполнения задач захвата, перемещения и т. д.

Ресурсы проекта Migician

• Репозиторий на GitHub:https://github.com/thunlp/Migician

• Адрес статьи:https://arxiv.org/pdf/2501.05767

Migician — это мощный инструмент, специально предназначенный для задач локализации на нескольких изображениях. Благодаря крупномасштабному набору данных MGrounding-630k и комплексному тестовому бенчмарку MIG-Bench его возможности локализации в сценариях с несколькими изображениями значительно улучшены.