CogView4: первая в мире открытая модель text-to-image с поддержкой китайских иероглифов 187

Что такое CogView4?

CogView4 — это первая открытая модель преобразования текста в изображение с поддержкой двуязычных (китайский и английский) подсказок, выпущенная компанией Zhipu AI 4 марта 2025 года. Это также первая в мире открытая модель генерации изображений из текста, поддерживающая генерацию китайских иероглифов. Она особенно хорошо понимает и следует китайскоязычным подсказкам, способна генерировать китайские иероглифы на изображении, что делает её идеально подходящей для рекламы, создания коротких видео и других творческих задач.

Основные особенности CogView4

• Поддержка двуязычного ввода (китайский и английский): CogView4 способна обрабатывать подсказки на китайском и английском языках любой длины и генерировать высококачественные изображения.

• Возможность генерации китайских иероглифов: модель позволяет естественно интегрировать китайские иероглифы в изображения, что особенно полезно для рекламы, коротких видео и других творческих областей.

• Генерация изображений с произвольным разрешением: поддержка создания изображений с разрешением от 512×512 до 2048×2048.

• Мощные возможности семантического выравнивания: в бенчмарке DPG-Bench CogView4 занимает первое место по комплексной оценке, демонстрируя выдающуюся производительность в сложном семантическом выравнивании и следовании инструкциям.

• Технические оптимизации: используются двумерное вращательное позиционное кодирование (2D RoPE) и многоэтапная стратегия обучения, включая обучение на базовом разрешении, обучение с泛-разрешением (универсальным разрешением), дообучение на высококачественных данных, а также обучение с учётом человеческих предпочтений.

• Оптимизация видеопамяти и эффективный инференс: благодаря таким технологиям, как выгрузка модели на CPU и квантизация текстового кодировщика, значительно снижается потребление видеопамяти.

• Открытый исходный код и поддержка экосистемы: модель распространяется по лицензии Apache 2.0. В дальнейшем планируется поддержка интеграции с ControlNet, ComfyUI и другими компонентами экосистемы, а также выпуск полного набора инструментов для тонкой настройки.

Технология CogView4

• Архитектура: основана на диффузионной модели в сочетании с архитектурой Transformer, использует 6 миллиардов параметров.

• Текстовый кодировщик: применяется двуязычный кодировщик GLM-4, обученный на парах «текст-изображение» на китайском и английском языках.

• Оптимизация видеопамяти: благодаря таким технологиям, как выгрузка модели на CPU и квантизация текстового кодировщика, снижается потребление видеопамяти и повышается эффективность инференса.

Сценарии применения CogView4

CogView4 особенно хорошо подходит для областей, где требуется творческий контент на китайском языке, таких как рекламный дизайн, создание коротких видео, разработка плакатов и т. д. Модель способна естественно интегрировать китайские и английские символы в изображения.

• Рекламный креатив: создание плакатов с определённым текстом, иллюстраций к рекламным текстам и т. д.

• Создание коротких видео: генерация соответствующих изображений на основе видеосценариев или творческих описаний.

• Художественное творчество: помощь художникам и дизайнерам в создании изображений с определённым стилем и настроением.

• Образовательная сфера: создание изображений, связанных с учебным материалом, например, иллюстраций к классической поэзии.

• Разработка игр: генерация игровых сцен и образов персонажей на основе сюжета и описаний персонажей.

• Другие творческие области: например, создание комиксов, иллюстраций, брендинг и реклама и т. д.

Использование CogView4

1. Онлайн-использование

• HuggingFace: https://huggingface.co/spaces/THUDM-HF-SPACE/CogView4

• ModelScope: https://modelscope.cn/models/ZhipuAI/CogView4-6B
  

2. Локальное развёртывание

Если вам необходимо использовать CogView4 локально, вы можете выполнить развёртывание, следуя приведённым ниже шагам:

• Получение кода модели: перейдите в репозиторий CogView4 на GitHub по адресу: https://github.com/THUDM/CogView4.

• Требования к оборудованию: модели CogView4 требуется значительный объём видеопамяти; минимальная рекомендуемая конфигурация — GPU с 12 ГБ видеопамяти.

• Установка зависимостей: установите необходимые зависимости и среду Python в соответствии с инструкциями в репозитории на GitHub.

• Запуск модели: следуйте инструкциям в репозитории для запуска модели, введите подсказку для генерации изображения.

3. Тонкая настройка модели

Zhipu планирует выпустить набор инструментов для тонкой настройки CogView4, с помощью которого пользователи смогут выполнять индивидуальное обучение модели в соответствии со своими потребностями. Например, можно выполнить тонкую настройку под конкретный рекламный стиль или требования бренда, чтобы получать изображения, более точно соответствующие задачам.

4. Использование через Hugging Face

Адрес модели на Hugging Face: https://huggingface.co/THUDM/CogView4-6B.