脚本プランナー▸ 
AIアプリ 
AIニュース Ovis：Alibaba Internationalが発表した最新のオープンソースマルチモーダルモデル
小编 ·
Ovis：Alibaba Internationalが発表した最新のオープンソースマルチモーダルモデル
アリババ国際は2024年9月19日に最新のマルチモーダル大規模モデルOvisを発表しました。Ovisモデルは複数の分野で優れた能力を発揮しており、特に数学的推論问答、物体認識、テキスト抽出、複雑なタスク意思決定などの面で傑出しています。
マルチモーダル評価プラットフォームOpenCompassのデータによると、Ovis1.6-Gemma2-9Bバージョンは、OpenCompassという権威ある総合評価ベンチマークにおいて、Qwen2VL-7B、InternVL2-26B、MiniCPM-V-2.6を含む複数の有名なオープンソースモデルを上回り、300億パラメータ以下のオープンソースモデルの中で第一位を獲得しました。注目すべきは、Ovisが特定のタスクにおいて、クローズドソースの大規模モデルGPT-4o-miniを超える性能を示していることです。
Ovisの中核能力：
マルチモーダルタスク処理：Ovisは視覚的知覚推論、数学と科学の理解、生活シーン分析などのマルチモーダルタスクを優れたパフォーマンスでこなします。複雑な数学の概念の理解を支援するだけでなく、財務報告の分析もサポートし、画像を基に料理のプロセスを指導することもできます。例えば、フィッシュアンドチップスの作成手順などです。
技術的詳細：Ovisの設計上のハイライトは、視覚埋め込みとテキスト埋め込みを構造的にアライメントさせる方法にあります。学習可能な視覚埋め込みテーブルを導入し、連続的な視覚特徴を確率化されたトークンに変換し、さらに構造化された視覚埋め込みを生成することで、従来のマルチモーダルモデルにおける視覚情報とテキスト情報の融合における制約を克服しています。
性能と優位性：Ovisは数学的推論や視覚理解などのタスクで優れたスコアを示し、より大きなパラメータ規模を持つモデルに匹敵する性能を発揮します。幻覚現象やエラー率の制御においても同レベルのモデルよりも優れており、高品質なテキストと高い精度を保証しています。
オープンソースと商用利用への親和性：Apache 2.0オープンソースライセンスに準拠しており、Ovisのオープンソース化により商用アプリケーションへの適用が非常に容易になり、より広範な活用と二次開発が促進されます。
アーキテクチャの革新：Ovisは動的サブグラフ方式を含む革新的なアーキテクチャ設計により、極端なアスペクト比や高解像度画像の処理をサポートしています。さらに、Caption、VQA、OCR、Table、Chartなど多様なマルチモーダルデータ方向をカバーする包括的なデータ最適化戦略により、マルチモーダルタスクの総合的なパフォーマンスを向上させています。
Ovisの応用事例：
画像認識と処理：Ovisは手書きの内容を正確に認識し翻訳できるほか、複雑な数学式も処理できます。例えば、画像認識を通じて詳細なレシピ作成手順を提供することが可能です。
自動運転：カメラ、レーダー、LiDARのデータを統合します。
医療診断：画像解析と診断支援に使用されます。
動画内容の理解：動画コンテンツの分析と生成を行います。
画像説明生成：画像説明を自動的に生成します。
視覚的質問応答：複数言語のテキスト抽出と質問応答をサポートします。
Ovisのオープンソース情報：
OvisシリーズモデルのライセンスはApache 2.0を採用しています。
Ovis 1.0、1.5のデータ、モデル、訓練および推論コードはすでにオープンソース化されています。
Ovis1.6シリーズのOvis1.6-Gemma2-9Bもすでに重みがオープンソース化されています。
開発者はGitHub上でモデルとコードを取得できます。
オープンソースコードは商用利用や改良に使用できます。
Ovisの技術的優位性：
革新的なアーキテクチャ設計：MLLMにおけるMLPコネクタアーキテクチャの限界を克服します。
高解像度画像処理：高解像度画像との互換性を備えています。
包括的なデータ最適化：マルチモーダル问答や指示追従などのタスク性能を大幅に向上させます。
卓越したモデル性能：OpenCompassで総合第一位を獲得しています。
幻覚現象とエラー率は同レベルのモデルよりも著しく低くなっています。
Ovis GitHubアドレス：
https://github.com/aiDC-AI/Ovis
アリババ国際チームは、過去半年のデータから、事業者によるAIへの需要が継続的に増加しており、平均して2か月ごとに呼び出し量が倍増していると述べています。Ovisは間違いなく、より多くの事業者の業務効率向上に貢献するでしょう。
