Ovis: новая мультимодальная модель Alibaba International с открытым исходным кодом 232

Alibaba International 19 сентября 2024 года выпустила новейшую мультимодальную большую модель Ovis. Модель Ovis демонстрирует выдающиеся возможности во многих областях, особенно в вопросах математического мышления, распознавании объектов, извлечении текста и принятии решений в сложных задачах.

Согласно данным мультимодальной оценочной платформы OpenCompass, версия Ovis1.6-Gemma2-9B на авторитетном комплексном оценочном бенчмарке OpenCompass превзошла несколько известных моделей с открытым исходным кодом, включая Qwen2VL-7B, InternVL2-26B и MiniCPM-V-2.6, и заняла первое место среди моделей с открытым исходным кодом с количеством параметров менее 30 миллиардов. Стоит отметить, что Ovis по некоторым задачам даже превосходит закрытую крупную модель GPT-4o-mini.

Ключевые возможности Ovis:

• Обработка мультимодальных задач: Ovis способен превосходно справляться с мультимодальными задачами, такими как визуальное восприятие и мышление, понимание математики и науки, анализ бытовых сценариев. Он не только помогает понимать сложные математические концепции, но и способствует анализу финансовых отчётов, и даже может направлять процесс приготовления пищи по изображениям, например, приготовление рыбы с картофелем фри.

• Технические детали: Конструктивной особенностью Ovis является способ структурного выравнивания визуальных и текстовых эмбеддингов. Благодаря введению обучаемой таблицы визуальных эмбеддингов непрерывные визуальные признаки преобразуются в вероятностные токены, а затем генерируются структурированные визуальные эмбеддинги, что преодолевает ограничения слияния визуальной и текстовой информации в традиционных мультимодальных моделях.

• Производительность и преимущества: Ovis демонстрирует отличные результаты в задачах математического мышления и визуального понимания, даже сопоставимые с некоторыми моделями с более высоким количеством параметров. Контроль галлюцинаций и уровня ошибок также лучше, чем у моделей того же класса, что обеспечивает высокое качество и точность текста.

• Открытый исходный код и коммерческая友好性: Под лицензией Apache 2.0 открытый исходный код Ovis делает его очень дружелюбным для коммерческого применения, поощряя более широкое использование и вторичную разработку.

• Архитектурные инновации: Благодаря инновационному архитектурному дизайну, включая схему динамических подграфов, Ovis поддерживает обработку изображений с экстремальными соотношениями сторон и высоким разрешением, а также комплексную стратегию оптимизации данных, охватывающую множество направлений мультимодальных данных, таких как Caption, VQA, OCR, Table, Chart, что повышает общую производительность в мультимодальных задачах.

Примеры применения Ovis:

• Распознавание и обработка изображений: Ovis может точно распознавать рукописный контент и переводить его, обрабатывать сложные математические формулы, например, предоставлять подробные пошаговые инструкции по приготовлению блюд путём распознавания изображений.

• Автономное вождение: Интеграция данных с камер, радаров и лидаров.
  

• Медицинская диагностика: Используется для анализа изображений и поддержки диагностики.

• Видеопонимание контента: Анализ и генерация видеоконтента.

• Генерация описаний изображений: Автоматическая генерация описаний изображений.

• Визуальные вопросы и ответы: Поддержка извлечения текста и вопросов-ответов на нескольких языках.

Информация об открытом исходном коде Ovis:

• Модели серии Ovis распространяются под лицензией Apache 2.0.

• Данные, модели, код обучения и инференса Ovis 1.0 и 1.5 уже открыты.

• В серии Ovis1.6 также открыты веса модели Ovis1.6-Gemma2-9B.

• Разработчики могут получить модель и код на GitHub.

• Открытый исходный код может использоваться в коммерческих целях и для улучшений.

Технические преимущества Ovis:

• Инновационный архитектурный дизайн: Преодоление ограничений архитектуры коннектора MLP в MLLM.

• Обработка изображений с высоким разрешением: Совместимость с изображениями высокого разрешения.

• Комплексная оптимизация данных: Значительно повышает результаты в задачах мультимодальных вопросов-ответов и следования инструкциям.

• Превосходная производительность модели: Занимает первое место в общем зачёте на OpenCompass.

• Галлюцинации и уровень ошибок значительно ниже, чем у моделей того же класса.

Адрес Ovis на GitHub:

https://github.com/aiDC-AI/Ovis

Команда Alibaba International отмечает, что данные за последние полгода показывают: спрос продавцов на ИИ постоянно растёт, при этом средний объём вызовов удваивается каждые два месяца. Несомненно, Ovis поможет большему числу продавцов повысить эффективность работы.