Ovis : le dernier modèle multimodal open source d'Alibaba International 234

Alibaba International a publié le 19 septembre 2024 son dernier grand modèle multimodal Ovis. Le modèle Ovis fait preuve de capacités exceptionnelles dans de nombreux domaines, notamment en matière de raisonnement mathématique et de questions-réponses, de reconnaissance d'objets, d'extraction de texte et de prise de décision pour des tâches complexes.

Selon les données de la plateforme d'évaluation multimodale OpenCompass, la version Ovis1.6-Gemma2-9B a surpassé plusieurs modèles open source renommés sur le benchmark d'évaluation complet faisant autorité OpenCompass, notamment Qwen2VL-7B, InternVL2-26B et MiniCPM-V-2.6, se classant ainsi à la première place parmi les modèles open source de moins de 30 milliards de paramètres. Il convient de noter que les performances d'Ovis sur certaines tâches dépassent même celles du grand modèle closed source GPT-4o-mini.

Capacités principales d'Ovis :

• Traitement des tâches multimodales : Ovis est capable d'accomplir avec brio des tâches multimodales telles que le raisonnement de perception visuelle, la compréhension mathématique et scientifique, ainsi que l'analyse de scénarios de la vie quotidienne. Il peut non seulement aider à comprendre des concepts mathématiques complexes, mais aussi analyser des états financiers, et même guider le processus de cuisson à partir d'une image, comme la préparation de fish and chips.

• Détails techniques : La principale innovation d'Ovis réside dans sa manière d'aligner structurellement les embeddings visuels et textuels. En introduisant une table d'embeddings visuels apprenable, il convertit les caractéristiques visuelles continues en tokens probabilistes, puis génère des embeddings visuels structurés, ce qui surmonte les limites de la fusion des informations visuelles et textuelles dans les modèles multimodaux traditionnels.

• Performances et avantages : Ovis obtient d'excellents scores dans les tâches de raisonnement mathématique et de compréhension visuelle, rivalisant même avec certains modèles comportant davantage de paramètres. Son contrôle des phénomènes d'hallucination et des taux d'erreur est également supérieur à celui des modèles de même catégorie, garantissant une haute qualité et une grande précision du texte.

• Open source et convivial pour un usage commercial : Conforme au protocole open source Apache 2.0, l'ouverture du code d'Ovis le rend très convivial pour les applications commerciales, encourageant ainsi des usages plus larges et des développements secondaires.

• Innovation architecturale : Grâce à une conception architecturale innovante, notamment un schéma de sous-graphes dynamique, Ovis prend en charge le traitement d'images à des rapports d'aspect extrêmes et en haute résolution, ainsi qu'une stratégie globale d'optimisation des données couvrant de multiples directions de données multimodales telles que Caption, VQA, OCR, Table, Chart, ce qui améliore les performances globales des tâches multimodales.

Cas d'application d'Ovis :

• Reconnaissance et traitement d'images : Ovis peut reconnaître avec précision le contenu manuscrit et le traduire, traiter des formules mathématiques complexes, par exemple en identifiant des images pour fournir des étapes détaillées de préparation de recettes.

• Conduite autonome : intégration des données issues des caméras, des radars et des lidars.
  

• Diagnostic médical : utilisé pour l'analyse d'images et l'aide au diagnostic.

• Compréhension du contenu vidéo : analyse et génération de contenu vidéo.

• Génération de descriptions d'images : génération automatique de descriptions d'images.

• Questions-réponses visuelles : prise en charge de l'extraction de texte et des questions-réponses en plusieurs langues.

Informations open source d'Ovis :

• Les modèles de la série Ovis sont sous licence Apache 2.0.

• Les données, modèles, codes d'entraînement et d'inférence d'Ovis 1.0 et 1.5 sont open source.

• Dans la série Ovis1.6, les poids d'Ovis1.6-Gemma2-9B ont également été rendus open source.

• Les développeurs peuvent obtenir les modèles et le code sur GitHub.

• Le code open source peut être utilisé à des fins commerciales et être amélioré.

Avantages techniques d'Ovis :

• Conception architecturale innovante : surmonte les limites de l'architecture du connecteur MLP dans les MLLM.

• Traitement d'images haute résolution : compatible avec les images haute résolution.

• Optimisation globale des données : améliore considérablement les performances sur les tâches de questions-réponses multimodales et de suivi d'instructions.

• Performances exceptionnelles du modèle : classé premier au classement global sur OpenCompass.

• Les phénomènes d'hallucination et les taux d'erreur sont nettement inférieurs à ceux des modèles de même catégorie.

Adresse GitHub d'Ovis :

https://github.com/aiDC-AI/Ovis

L'équipe Alibaba International a indiqué que les données du dernier semestre montrent que la demande des commerçants en matière d'IA ne cesse de croître, le volume d'appels doublant en moyenne tous les deux mois. Ovis aidera sans aucun doute davantage de commerçants à améliorer leur efficacité opérationnelle.