CogView4 : le premier modèle open-source texte-vers-image prenant en charge les caractères chinois 185

Qu'est-ce que CogView4 ?

CogView4 est le premier modèle d'IA de génération d'images à partir de texte open source prenant en charge les prompts bilingues chinois-anglais, publié par Zhipu AI le 4 mars 2025. C'est également le premier modèle open source au monde capable de générer des caractères chinois. Il excelle particulièrement dans la compréhension et le suivi des prompts en chinois, et peut générer des caractères chinois dans les images, ce qui le rend idéal pour la publicité, la création de courtes vidéos, etc.

Caractéristiques principales de CogView4

• Prise en charge des entrées bilingues chinois-anglais : CogView4 peut traiter des prompts en chinois et en anglais de toute longueur et générer des images de haute qualité.

• Capacité de génération de caractères chinois : ce modèle peut intégrer naturellement des caractères chinois dans les images, ce qui le rend particulièrement adapté aux domaines créatifs tels que la publicité et les courtes vidéos.

• Génération d'images à résolution arbitraire : prend en charge la génération d'images à des résolutions arbitraires comprises entre 512×512 et 2048×2048.

• Forte capacité d'alignement sémantique : dans le benchmark DPG-Bench, CogView4 obtient la première place au classement global, démontrant ses performances exceptionnelles en matière d'alignement sémantique complexe et de suivi des instructions.

• Optimisations techniques : utilise un codage positionnel rotatif 2D (2D RoPE) et une stratégie d'entraînement en plusieurs étapes, comprenant un entraînement à résolution de base, un entraînement à résolution généralisée, un ajustement fin avec des données de haute qualité et un alignement sur les préférences humaines.

• Optimisation de la mémoire vidéo et inférence efficace : grâce à des techniques telles que le déchargement CPU du modèle et la quantification de l'encodeur de texte, l'occupation de la mémoire vidéo est considérablement réduite.

• Open source et support écosystémique : sous licence Apache 2.0, il prendra en charge à l'avenir les intégrations écosystémiques telles que ControlNet et ComfyUI, et publiera une boîte à outils complète de fine-tuning.

Technologie CogView4

• Architecture : basée sur un modèle de diffusion combiné à une architecture Transformer, utilisant 6 milliards de paramètres.

• Encodeur de texte : utilise l'encodeur bilingue GLM-4, entraîné sur des paires image-texte bilingues chinois-anglais.

• Optimisation de la mémoire vidéo : grâce à des techniques telles que le déchargement CPU du modèle et la quantification de l'encodeur de texte, l'occupation de la mémoire vidéo est réduite et l'efficacité de l'inférence est améliorée.

Scénarios d'application de CogView4

CogView4 est particulièrement adapté aux domaines nécessitant une créativité en chinois, tels que la conception publicitaire, la production de courtes vidéos, la création d'affiches, etc., et peut intégrer naturellement des caractères chinois et anglais dans les images.

• Créativité publicitaire : génère des affiches avec du texte spécifique, des illustrations accompagnant des textes, etc.

• Production de courtes vidéos : génère les images correspondantes à partir de scénarios vidéo ou de descriptions créatives.

• Création artistique : assiste les artistes et les designers dans la génération d'images avec des styles et des ambiances spécifiques.

• Domaine éducatif : génère des images liées au contenu pédagogique, telles que des illustrations d'ambiance de poésie classique.

• Développement de jeux : génère des images de jeu et des personnages en fonction de l'intrigue et des paramètres des personnages.

• Autres domaines créatifs : tels que la création de bandes dessinées, la conception d'illustrations, la promotion de marque, etc.

Utilisation de CogView4

1. Expérience en ligne

• HuggingFace : https://huggingface.co/spaces/THUDM-HF-SPACE/CogView4

• ModelScope : https://modelscope.cn/models/ZhipuAI/CogView4-6B
  

2. Déploiement local

Si vous devez utiliser CogView4 localement, vous pouvez procéder au déploiement en suivant les étapes ci-dessous :

• Obtenir le code du modèle : accédez au dépôt GitHub de CogView4 à l'adresse : https://github.com/THUDM/CogView4.

• Configuration matérielle requise : le modèle CogView4 nécessite une mémoire vidéo importante ; il est recommandé d'utiliser au minimum un GPU avec 12 Go de mémoire vidéo.

• Installation des dépendances : suivez les instructions du dépôt GitHub pour installer les dépendances Python et l'environnement nécessaires.

• Exécution du modèle : suivez le guide du dépôt pour lancer le modèle, saisissez des prompts et générez des images.

3. Fine-tuning du modèle

Zhipu prévoit de publier une boîte à outils de fine-tuning pour CogView4, permettant aux utilisateurs d'effectuer un entraînement personnalisé du modèle en fonction de leurs besoins. Par exemple, un fine-tuning peut être réalisé pour des styles publicitaires spécifiques ou des besoins de marque afin de générer des images mieux adaptées.

4. Utilisation via Hugging Face

Adresse de la bibliothèque de modèles Hugging Face : https://huggingface.co/THUDM/CogView4-6B.