Alibaba Ovis-U1：マルチモーダル理解・画像生成・画像編集を統合したモデル 62

2025年6月29日、アリババ国際aiチームがマルチモーダル大規模モデルOvis-U1を発表しました。Ovisシリーズの最新バージョンであり、既存のアーキテクチャをベースに開発され、パラメータ数は3億です。

このモデルはマルチモーダル理解、画像生成、編集機能を統合しており、視覚トークナイザー、視覚埋め込みテーブル、大規模言語モデルといったコアコンポーネントを備えています。視覚とテキストの埋め込みの一致度を最適化することで、従来のマルチモーダルモデルの一部制約を解決し、複雑なシナリオにおいてより優れた性能を発揮します。テキストと画像の入力に対応し、数学的推論や物体認識などのタスクで特に優れた性能を示し、画像の物体や手書き文字を正確に識別するほか、指示に従って画像を生成・編集することができます。

コア能力

• マルチモーダル理解：複雑な視覚シーンとテキスト内容を分析し、画像に関連する質問に回答したり、視覚質問応答（VQA）や画像キャプション生成などのタスクを実行できます。

• テキストから画像への生成：テキスト記述に基づいて高品質な画像を生成し、さまざまなスタイルや複雑なシナリオのニーズに対応します。

• 画像編集：テキスト指示を通じて画像要素の追加、調整、置換、削除などの操作を行い、スタイル変換にも対応します。

技術アーキテクチャ

• 視覚デコーダー：拡散ベースのTransformerアーキテクチャ（MMDiT）を採用し、テキスト埋め込みを高品質な画像に変換します。

• 双方向トークンリファイナー：テキストと視覚埋め込みのインタラクションを強化し、画像合成と編集の性能を向上させます。

• 視覚エンコーダー：事前学習モデル（例：Aimv2-large-patch14-448）をベースにファインチューニングされ、マルチモーダルタスクに適応します。

• アダプター：視覚エンコーダーとマルチモーダル大規模言語モデル（MLLM）を接続し、2種類の埋め込みデータを整合させます。

• マルチモーダル大規模言語モデル：コアモジュールとして、テキストと視覚情報を処理し、マルチタスク処理をサポートします。

学習方法

Ovis-U1は、マルチモーダル理解、画像生成、編集タスクを同期的に学習し、知識を共有することで汎化能力を向上させます。学習は6つの段階に分かれ、各タスクの性能を段階的に最適化します。

データ構成

• マルチモーダル理解データ：COYO、Wukong、Laionなどの公開データセットおよび社内開発データから取得。

• 画像生成データ：Laion5B、JourneyDBデータセットおよび事前学習モデルが生成した詳細な記述に基づく。

• 画像編集データ：参照画像に基づく生成やピクセル単位の制御などのタスクデータを含む。

性能最適化

画像編集では、テキストと画像誘導係数（CFG）を調整することで、指示の実行を正確に制御します。OpenCompass、GenEvalなどのベンチマークを用いてモデル能力を包括的に評価します。

応用シナリオ

• コンテンツ制作：アーティストや動画編集者のクリエイティブ構想を支援します。

• 広告マーケティング：製品やターゲットオーディエンスの記述に基づいて広告画像やポスターを生成します。

• ゲーム開発：ゲームのシーン、キャラクター、アイテムの画像を生成します。

• 建築設計：建築コンセプト図や室内レイアウト案を出力します。

• 科学研究：複雑な科学現象や実験シーンを可視化します。

Ovisシリーズのオープンソースの伝統を受け継ぎ、モデルのコード、重み、学習データはApache2.0ライセンスのもとHugging FaceとGitHubで公開されており、開発者は迅速に再現・デプロイできます。

プロジェクトアドレス

GitHubリポジトリ：https://github.com/AIDC-AI/Ovis-U1

HuggingFaceモデルライブラリ：https://huggingface.co/AIDC-AI/Ovis-U1-3B

技術論文：https://github.com/AIDC-AI/Ovis-U1/blob/main/docs/Ovis_U1_Report.pdf

オンライン体験：https://huggingface.co/spaces/AIDC-AI/Ovis-U1-3B