Qwen-Image-Edit: модель редактирования изображений Tongyi для семантических и визуальных правок 198

小编 ·

Qwen-Image-Edit: модель редактирования изображений Tongyi для семантических и визуальных правок

Qwen-Image-Edit — модель редактирования изображений от Tongyi, дообученная на базе Qwen-Image с 20 млрд параметров. Обрабатывает и семантические, и визуальные правки: точную работу с текстом на изображении, создание IP-персонажей, перенос стиля и др. Лидирует на нескольких открытых бенчмарках; опубликована в open source на ModelScope, Hugging Face и GitHub.

Qwen-Image-Edit: модель редактирования изображений Tongyi для семантических и визуальных правок

Qwen-Image-Edit — это модель редактирования изображений, выпущенная Tongyi Qianwen (通义千问). Она была дообучена на базе модели Qwen-Image с 20B параметров и способна одновременно обрабатывать семантические и визуальные изменения в изображениях, например точно редактировать текст на картинках, создавать IP-образы, менять стиль и выполнять другие операции. По результатам нескольких открытых тестов она показывает лучшие результаты и опубликована в открытом доступе на ModelScope, Hugging Face и GitHub.

Qwen-Image-Edit: модель редактирования изображений от Tongyi Qianwen, поддерживающая двойное семантическое и визуальное редактирование

Ключевые возможности Qwen-Image-Edit

  • Редактирование как смысла, так и внешнего вида: передача изображения в Qwen2.5-VL позволяет управлять смыслом картинки, а передача в VAE Encoder — её внешним видом. Благодаря этой возможности можно создавать IP-образы, вращать объекты, менять стиль изображения, а также добавлять, удалять или перерисовывать элементы.

  • Точная правка текста: можно редактировать как китайский, так и английский текст. Не меняя исходного шрифта, размера и стиля, можно добавлять, удалять или изменять содержимое текста на изображении, а также менять цвет отдельных символов.

  • Высокие результаты в тестах: по итогам нескольких открытых тестов достигнуты лучшие на данный момент результаты.

Технология Qwen-Image-Edit

  • Во-первых, это многозадачное обучение. Применяется усовершенствованный метод многозадачного обучения, который объединяет такие задачи, как классическая генерация изображений по тексту, генерация новых изображений по тексту и изображению, а также генерация новых изображений по изображению. Это позволяет лучше согласовывать скрытые представления компонентов Qwen2.5-VL и MMDiT.

  • Во-вторых, это двойное кодирование. Изображение отдельно подаётся в Qwen2.5-VL (для управления смыслом картинки) и в VAE Encoder (для управления её внешним видом). Благодаря этому модель при редактировании понимает, какой смысл нужно изменить, и одновременно сохраняет визуальное сходство с оригиналом.

Сценарии использования Qwen-Image-Edit

  • Создание IP-образов: на основе одного персонажа можно создавать разный контент, например превращать талисман Qwen — капибару — в стикерпаки MBTI.

  • Смена ракурса: объекты можно повернуть на 90 или 180 градусов.

  • Перенос стиля: можно преобразовать портрет человека в стиль анимации студии Ghibli.

Как выполнить перенос стиля с помощью Qwen-Image-Edit

  1. Сначала перейдите в Qwen Chat (chat.qwen.ai) и выберите функцию «Редактирование изображений».

  2. Затем загрузите изображение, стиль которого хотите изменить, в интерфейс редактирования.

  3. После этого в промпте чётко опишите желаемый стиль, например: «Преврати этот портрет в стиль Ghibli».

  4. Нажмите «Отправить», и модель начнёт обработку.

  5. После завершения обработки вы увидите отредактированное изображение и сможете его скачать.

Как выполнить перенос стиля с помощью Qwen-Image-Edit

Ссылки для скачивания модели Qwen-Image-Edit:

  • ModelScope: https://modelscope.cn/models/Qwen/Qwen-Image-Edit

  • Hugging Face: https://huggingface.co/Qwen/Qwen-Image-Edit

  • GitHub: https://github.com/QwenLM/Qwen-Image