Ovis: Alibabas neuestes Open-Source-Multimodal-Modell 227

Alibaba International veröffentlichte am 19. September 2024 das neueste multimodale Großmodell Ovis. Das Ovis-Modell zeigt in mehreren Bereichen hervorragende Fähigkeiten, insbesondere bei mathematischen Schlussfolgerungen und Fragenbeantwortung, Objekterkennung, Textextraktion und Entscheidungsfindung bei komplexen Aufgaben.

Laut der Daten der Multimodal-Bewertungsplattform OpenCompass übertrifft die Version Ovis1.6-Gemma2-9B auf diesem maßgeblichen umfassenden Bewertungsmaßstab mehrere bekannte Open-Source-Modelle, darunter Qwen2VL-7B, InternVL2-26B und MiniCPM-V-2.6, und belegt bei Open-Source-Modellen unter 30 Milliarden Parametern den ersten Platz. Bemerkenswert ist, dass Ovis in einigen Aufgaben sogar geschlossene Großmodelle wie GPT-4o-mini übertrifft.

Kernfähigkeiten von Ovis:

• Verarbeitung multimodaler Aufgaben: Ovis kann multimodale Aufgaben wie visuelle Wahrnehmung und Schlussfolgerung, mathematisches und naturwissenschaftliches Verständnis sowie die Analyse von Alltagsszenarien hervorragend bewältigen. Es kann nicht nur dabei helfen, komplexe mathematische Konzepte zu verstehen, sondern auch bei der Analyse von Finanzberichten unterstützen und sogar basierend auf Bildern Kochvorgänge anleiten, wie zum Beispiel die Zubereitung von Fish and Chips.

• Technische Details: Das Design-Highlight von Ovis liegt in der Art und Weise, wie visuelle und textuelle Einbettungen strukturell aufeinander abgestimmt werden. Durch die Einführung einer lernbaren visuellen Einbettungstabelle werden kontinuierliche visuelle Merkmale in probabilistische Tokens umgewandelt, um dann strukturierte visuelle Einbettungen zu erzeugen. Dadurch werden die Einschränkungen traditioneller multimodaler Modelle bei der Verschmelzung von visuellen und textuellen Informationen überwunden.

Anwendungsfälle von Ovis:

• Bilderkennung und -verarbeitung: Ovis kann handgeschriebene Inhalte genau erkennen und übersetzen, komplexe mathematische Formeln verarbeiten, beispielsweise durch Bilderkennung detaillierte Schritte zur Zubereitung von Rezepten liefern.

• Autonomes Fahren: Integration von Daten aus Kameras, Radar und LiDAR.
  

• Medizinische Diagnose: Wird für Bildanalyse und Diagnoseunterstützung verwendet.

• Video-Inhaltsverständnis: Analyse und Generierung von Videoinhalten.

• Bildbeschreibungsgenerierung: Automatische Erstellung von Bildbeschreibungen.

• Visuelle Fragenbeantwortung: Unterstützt Textextraktion und Fragenbeantwortung in mehreren Sprachen.

Open-Source-Informationen zu Ovis:

• Die Lizenz der Ovis-Modellreihe verwendet Apache 2.0.

• Daten, Modell, Trainings- und Inferenzcode von Ovis 1.0 und 1.5 wurden als Open Source veröffentlicht.

• In der Ovis1.6-Serie wurden auch die Gewichte von Ovis1.6-Gemma2-9B als Open Source veröffentlicht.

• Entwickler können Modell und Code auf GitHub beziehen.

• Der Open-Source-Code kann für kommerzielle Zwecke und Weiterentwicklung verwendet werden.

Technische Vorteile von Ovis:

• Innovatives Architekturdesign: Überwindet die Beschränkungen der MLP-Connector-Architektur in MLLM.

• Verarbeitung hochauflösender Bilder: Kompatibel mit hochauflösenden Bildern.

• Umfassende Datenoptimierung: Verbessert deutlich die Leistung bei Aufgaben wie multimodaler Fragenbeantwortung und Instruction Following.

• Hervorragende Modellleistung: Belegt auf OpenCompass den ersten Platz in der Gesamtwertung.

• Halluzinationen und Fehlerquoten sind deutlich niedriger als bei Modellen derselben Klasse.

Ovis GitHub-Adresse:

https://github.com/aiDC-AI/Ovis

Das Team von Alibaba International erklärte, dass die Daten des letzten halben Jahres zeigen, dass die Nachfrage von Händlern nach KI stetig wächst und sich die Anzahl der Aufrufe durchschnittlich alle zwei Monate verdoppelt. Ovis wird zweifellos dazu beitragen, dass mehr Händler ihre Betriebseffizienz steigern können.