Qwen-Image-Edit:意味と外観の双方を編集できるTongyiの画像編集モデル 201

小编 ·

Qwen-Image-Edit:意味と外観の双方を編集できるTongyiの画像編集モデル

Qwen-Image-EditはTongyi推出的の画像編集モデルで、200億パラメータのQwen-Imageをベースに追加学習されています。画像の意味と外観の両方を変更でき、画像テキストの精密編集、IPキャラクター生成、スタイル変換などに対応。複数の公開ベンチマークでトップの結果を残し、ModelScope、Hugging Face、GitHubでオープンソース公開されています。

Qwen-Image-Edit:意味と外観の双方を編集できるTongyiの画像編集モデル

Qwen-Image-Editは、通義千問が推出的した画像編集モデルであり、20BパラメータのQwen-Imageモデル基础上にさらにトレーニングされたものです。画像の意味的編集と外見編集を同時に処理でき、例えば画像上の文字を正確に修正したり、IPイメージ作成、スタイル変換などの操作を行うことができます。複数の公開テストで最良の成績を収めており、すでにModelScope、Hugging Face、GitHubでオープンソース化されています。

Qwen-Image-Edit:通義千問推出的的画像編集モデル、意味と外見の二重編集が可能

Qwen-Image-Editの中核能力

  • 意味と外見の両方を編集可能:画像をQwen2.5-VLに入力することで画像が表現したい意味を制御し、VAE Encoderに入力することで画像の様子を制御できます。この能力により、IPイメージ作成、物体の向き変換、画像スタイル変換が可能になるほか、画像に要素を追加したり、削除したり、再描画したりすることもできます。

  • 文字修正が正確:中国語と英語の両方の文字を修正可能で、元のフォント、サイズ、スタイルを維持したまま、画像内の文字に内容を追加・削除・変更したり、特定の文字の色を変更したりすることができます。

  • テスト成績が優秀:複数の公開テストで現在の最高水準に達しています。

Qwen-Image-Editの技術

  • 一つ目はマルチタスク学習です。改良されたマルチタスク学習手法を採用し、従来のテキストから画像生成、テキストと画像から新画像生成、画像から新画像生成といったタスクを組み合わせることで、Qwen2.5-VLとMMDiTの二つの部分の隠れ情報がより適切に対応づけられるようにしています。

  • もう一つはデュアルエンコーディングです。画像をそれぞれQwen2.5-VL(画像が表現する意味を制御するため)とVAE Encoder(画像の様子を制御するため)に入力することで、モデルが画像を編集する際に、ユーザーが何を変更したいかを理解しつつ、画像が元とほぼ同じ見た目を保つようにしています。

Qwen-Image-Editの使用シーン

  • IP作成:一つのロールに基づき異なるコンテンツを作成できます。例えば、QwenのマスコットであるカピバラをMBTIスタンプにすることができます。

  • 視点変換:物体を90度や180度に回転させることができます。

  • スタイル転移:人物のプロフィール写真をジブリアニメーションのようなスタイルに変換できます。

Qwen-Image-Editでスタイル転移を行う手順

  1. まずQwen Chat(chat.qwen.ai)にアクセスし、「画像編集」機能をクリックします。

  2. 次にスタイルを変換したい画像を編集画面にアップロードします。

  3. 続いてプロンプトに希望するスタイルを明記します。例えば「この人物のプロフィール写真をジブリスタイルに変換してください」など。

  4. 送信をクリックすると、モデルの処理が開始されます。

  5. 処理が完了すると、変換後の画像が表示され、ダウンロードできます。

Qwen-Image-Editでスタイル転移を行う手順

Qwen-Image-Editモデルのダウンロード先:

  • ModelScope:https://modelscope.cn/models/Qwen/Qwen-Image-Edit

  • Hugging Face:https://huggingface.co/Qwen/Qwen-Image-Edit

  • GitHub:https://github.com/QwenLM/Qwen-Image