Ovis: el último modelo multimodal de código abierto de Alibaba International 229

Alibaba International lanzó el 19 de septiembre de 2024 su último modelo multimodal de gran tamaño, Ovis. El modelo Ovis demuestra capacidades sobresalientes en múltiples áreas, especialmente en preguntas y respuestas de razonamiento matemático, reconocimiento de objetos, extracción de texto y toma de decisiones en tareas complejas.

Según los datos de la plataforma de evaluación multimodal OpenCompass, la versión Ovis1.6-Gemma2-9B supera en este reconocido benchmark integral de OpenCompass a varios modelos de código abierto conocidos, incluyendo Qwen2VL-7B, InternVL2-26B y MiniCPM-V-2.6, situándose en el primer lugar entre los modelos de código abierto con menos de 30 mil millones de parámetros. Cabe destacar que el rendimiento de Ovis en ciertas tareas supera incluso al del modelo cerrado de gran tamaño GPT-4o-mini.

Capacidades principales de Ovis:

• Procesamiento de tareas multimodales: Ovis es capaz de completar de forma sobresaliente tareas multimodales como razonamiento de percepción visual, comprensión matemática y científica, y análisis de escenarios de la vida cotidiana. No solo puede ayudar a comprender conceptos matemáticos complejos, sino también asistir en el análisis de estados financieros e incluso guiar procesos de cocina a partir de imágenes, como la elaboración de fish and chips.

• Detalles técnicos: el aspecto más destacado del diseño de Ovis radica en su forma de alinear estructuralmente los embeddings visuales y textuales. Mediante la introducción de una tabla de embeddings visuales entrenable, convierte las características visuales continuas en tokens probabilísticos y luego genera embeddings visuales estructurados, lo que supera las limitaciones de la fusión de información visual y textual presentes en los modelos multimodales tradicionales.

• Rendimiento y ventajas: Ovis obtiene puntuaciones destacadas en tareas de razonamiento matemático y comprensión visual, comparable incluso a modelos con un orden de magnitud mayor en número de parámetros. También ofrece un mejor control de las alucinaciones y de la tasa de errores en comparación con modelos del mismo nivel, garantizando alta calidad y precisión textual.

• Código abierto y favorable para uso comercial: bajo la licencia de código abierto Apache 2.0, la apertura del código de Ovis lo hace muy amigable para aplicaciones comerciales, fomentando un uso más amplio y el desarrollo secundario.

• Innovación arquitectónica: gracias a un diseño arquitectónico innovador que incluye un esquema de subgráficos dinámicos, Ovis admite el procesamiento de imágenes con relaciones de aspecto extremas y alta resolución, además de una estrategia integral de optimización de datos que cubre múltiples direcciones de datos multimodales como Caption, VQA, OCR, Table y Chart, mejorando así el rendimiento general en tareas multimodales.

Casos de uso de Ovis:

• Reconocimiento y procesamiento de imágenes: Ovis puede reconocer con precisión contenido escrito a mano y traducirlo, procesar fórmulas matemáticas complejas y, por ejemplo, proporcionar pasos detallados para preparar recetas a partir de imágenes.

• Conducción autónoma: integra datos de cámaras, radares y lidar.
  

• Diagnóstico médico: utilizado para análisis de imágenes y soporte diagnóstico.

• Comprensión de contenido de vídeo: analiza y genera contenido de vídeo.

• Generación de descripciones de imágenes: genera automáticamente descripciones de imágenes.

• Preguntas y respuestas visuales: admite extracción de texto y preguntas y respuestas en varios idiomas.

Información de código abierto de Ovis:

• Los modelos de la serie Ovis utilizan la licencia Apache 2.0.

• Los datos, modelos, código de entrenamiento e inferencia de Ovis 1.0 y 1.5 ya son de código abierto.

• En la serie Ovis1.6, también se han publicado los pesos de Ovis1.6-Gemma2-9B.

• Los desarrolladores pueden obtener los modelos y el código en GitHub.

• El código abierto puede usarse con fines comerciales y de mejora.

Ventajas técnicas de Ovis:

• Diseño arquitectónico innovador: supera las limitaciones de la arquitectura del conector MLP en los MLLM.

• Procesamiento de imágenes en alta resolución: compatible con imágenes de alta resolución.

• Optimización integral de datos: mejora significativamente el rendimiento en tareas como preguntas y respuestas multimodales y seguimiento de instrucciones.

• Rendimiento excepcional del modelo: ocupa el primer lugar integral en OpenCompass.

• Las alucinaciones y la tasa de errores son significativamente inferiores a las de modelos del mismo nivel.

Dirección de Ovis en GitHub:

https://github.com/aiDC-AI/Ovis

El equipo de Alibaba International señaló que los datos de los últimos seis meses muestran que la demanda de IA por parte de los comerciantes no deja de crecer, duplicándose en promedio el volumen de llamadas cada dos meses. Sin duda, Ovis ayudará a más comerciantes a mejorar la eficiencia operativa.