Nexus-Gen：GPT-4oに匹敵する画像理解・生成・編集機能を備えたオープンソース画像モデル 88

小编 · 2025-05-12

Nexus-Genは、ModelScopeチームが開発したオープンソースの画像モデルで、GPT-4oに匹敵する画像理解・生成・編集能力を備えています。MLLMのテキストモデリングと拡散モデルの画像レンダリングを融合し、独自の高次元特徴空間モデリング手法を採用することで、推論時に発生しやすい自己回帰モデルのエラー蓄積問題を効果的に解決しています。自己回帰モデルと拡散モデルをそれぞれ別々に学習させることで、生成品質が大幅に向上。さらに、オープンソースコミュニティが提供する25Mデータで学習されています。

Nexus-Gen：GPT-4oに匹敵する画像理解・生成・編集機能を備えたオープンソース画像モデル

Nexus-GenはModelScopeチームがオープンソース化した画像モデルであり、その画像理解・生成・編集能力はGPT-4oに匹敵します。このモデルはMLLMのテキストモデリングと拡散モデルの画像レンダリング技術を融合し、独自の高次元特徴空間モデリング手法を採用することで、従来の自己回帰モデルが推論時に起こしやすい誤差蓄積の問題を効果的に解決しています。自己回帰モデルと拡散モデルをそれぞれ訓練することにより、Nexus-Genの画像生成品質は大幅に向上しました。さらに、オープンソースコミュニティが提供する25Mデータを用いて訓練を行い、All-to-Allモデルの発展を推進しています。

Nexus-Gen：オープンソースの万能画像モデル、GPT-4oに匹敵する画像理解・生成・編集能力を備える.webp

Nexus-Genの機能特徴

1. 画像理解

正確な識別と分析：Nexus-Genは画像内の物体、シーン、テキストなどのさまざまな要素を正確に理解することができます。例えば、光学文字認識（OCR）タスクにおいて、画像内のテキスト内容を高精度で識別し、その意味を理解することができます。
複数分野への適応性：このモデルは汎用視覚質問応答、言語理解、数え上げ、コード解析、数学、科学的タスクなど、複数の分野で優れたパフォーマンスを発揮します。例えば、視覚質問応答タスクにおいて、「画像にはどんな動物がいて、何をしていますか？」のような複雑な質問に画像内容に基づいて答えることができます。
文脈理解：Nexus-Genは画像そのものだけでなく、テキスト説明と組み合わせて画像の文脈を理解することもできます。例えば、説明文が付いた画像が与えられた場合、テキストと画像を組み合わせて画像の内容をより正確に解釈することができます。

2. 画像生成

高品質な画像合成：Nexus-Genは簡単な物体から複雑なシーンまで、高品質な画像を生成することができます。例えば、「草原を走るゴールデンレトリバー」というテキスト記述に基づき、鮮明でリアルな画像を生成することができます。
創造性とディテール：このモデルはテキストプロンプトに基づいて、創造的で細部にこだわった画像を生成することができます。例えば、「未来的な都市の夜景、ネオンサインが輝き、フライングカーが行き交う」と説明すると、未来的でテクノロジーの雰囲気を持つ画像を生成することができます。
スタイル指定による生成：Nexus-Genは写実風、アニメ風、油絵風など、さまざまなスタイルの画像生成をサポートしています。ユーザーはスタイルを指定することで、ニーズに合った画像を生成することができます。

3. 画像編集

多様な編集操作：Nexus-Genはオブジェクト変更、オブジェクト追加、オブジェクト削除、色変更、スタイル変換など、さまざまな画像編集操作をサポートしています。例えば、ユーザーは「この写真の赤い花を青に変えて」や「画像内に蝶を追加して」と依頼することができます。
precise control：このモデルはテキスト指示に基づいて正確に編集操作を行うことができます。例えば、ユーザーが「画像の空を夕焼けの背景に置き換えて」と要求すると、Nexus-Genは背景を正確に識別して置き換えることができます。
複数ステップの編集フロー：Nexus-Genは複雑な複数ステップの編集タスクを処理することができます。例えば、ユーザーは「まず画像内の古い車を新しい車に交換し、次に背景を都市の街並みに変更して」と依頼することができ、Nexus-Genはこれらの操作を順次実行することができます。

Nexus-Genの応用シーン

1. コンテンツ制作

クリエイティブデザイン：デザイナーはNexus-Genを利用してクリエイティブ画像を迅速に生成し、デザインの起点やインスピレーションの源とすることができます。例えば、キャッチコピーに基づいて広告ポスターの初期ビジュアルを生成することができます。
イラストと絵画：アーティストはこのモデルを使用してイラストや絵画のスケッチを生成し、それを基にさらに創作を進めることができます。例えば、物語の記述に基づいてイラストのスケッチを生成し、制作時間を節約することができます。

2. 広告とマーケティング

広告素材の生成：広告会社はNexus-Genを利用して広告に必要な画像素材を迅速に生成することができます。例えば、広告キャッチコピーから商品の展示画像やシーン画像などを生成します。
パーソナライズ広告：ユーザーのニーズや好みに応じて、パーソナライズされた広告画像を生成します。例えば、ユーザーの興味に基づいて好みの商品推薦画像を生成します。

3. ゲーム開発

ゲームシーンとキャラクター生成：ゲーム開発者はNexus-Genを利用してゲーム内のシーンやキャラクターを生成することができます。例えば、ゲームのストーリー記述に基づいてゲームマップやキャラクターイメージを生成します。
ゲーム素材库的拡張：大量のゲーム素材を迅速に生成し、ゲームコンテンツを充実させます。例えば、異なるスタイルの建築やアイテムなどを生成します。

4. 教育と研修

教育補助：教師はNexus-Genを利用して教育に必要な画像を生成し、学生の学習内容の理解を助けることができます。例えば、自然科学の教育で動植物の画像を生成します。
仮想実験室：仮想実験のシーンや操作手順の画像を生成し、学生が仮想実験を行うのを助けます。例えば、化学実験の画像を生成し、実験の過程を示します。

5. エンターテインメントとソーシャル

パーソナライズされたアバターと画像：ユーザーは自分の好みに応じてパーソナライズされたアバターや画像を生成し、ソーシャルメディアに使用することができます。例えば、個性的な特徴を持つアニメ風アバターを生成します。
クリエイティブな写真編集：ソーシャルメディアでクリエイティブな写真編集作品を共有します。例えば、普通の写真を芸術的スタイルの画像に編集して面白さを加えます。

インストールと使用方法

インストール手順

DiffSynth - Studioのインストール：ソースコードからクローンしてインストールし、コマンドはgit clone https://github.com/modelscope/DiffSynth-Studio.gitで、ディレクトリに入った後pip install -e.を実行します。
依存関係のインストール：pip install -r requirements.txtを実行します。
微調整を行う場合は、ms - swiftをインストールします：pip install ms-swift -U。
モデルの準備：python download_models.pyを実行します。