CogView4: el primer modelo open-source de texto a imagen con soporte para caracteres chinos 183

¿Qué es CogView4?

CogView4 es el primer modelo de IA de texto a imagen de código abierto que admite prompts en chino e inglés, publicado por Zhipu AI el 4 de marzo de 2025. También es el primer modelo de texto a imagen de código abierto del mundo capaz de generar caracteres chinos. Destaca especialmente en la comprensión y el seguimiento de prompts en chino, y puede generar caracteres chinos en las imágenes, siendo ideal para publicidad, creación de vídeos cortos, etc.

Características principales de CogView4

• Soporte de entrada en chino e inglés: CogView4 puede procesar prompts en chino e inglés de cualquier longitud y generar imágenes de alta calidad.

• Capacidad de generación de caracteres chinos: el modelo puede integrar caracteres chinos de forma natural en las imágenes, siendo especialmente adecuado para campos creativos como la publicidad y los vídeos cortos.

• Generación de imágenes en cualquier resolución: admite la generación de imágenes en cualquier resolución dentro del rango de 512×512 a 2048×2048.

• Gran capacidad de alineación semántica: en el benchmark DPG-Bench, CogView4 ocupa el primer puesto en la puntuación general, lo que demuestra su excelente rendimiento en alineación semántica compleja y seguimiento de instrucciones.

• Optimización técnica: emplea codificación posicional rotatoria bidimensional (2D RoPE) y una estrategia de entrenamiento en múltiples etapas, que incluye entrenamiento con resolución base, entrenamiento con resolución general, ajuste fino con datos de alta calidad y entrenamiento de alineación con preferencias humanas.

• Optimización de memoria e inferencia eficiente: mediante técnicas como la descarga del modelo a la CPU y la cuantización del codificador de texto, se reduce significativamente el consumo de memoria.

• Código abierto y soporte del ecosistema: sigue la licencia Apache 2.0, y próximamente será compatible con integraciones del ecosistema como ControlNet y ComfyUI, además de un completo paquete de herramientas de ajuste fino.

Tecnología de CogView4

• Arquitectura: basada en un modelo de difusión combinado con una arquitectura Transformer, utilizando 6.000 millones de parámetros.

• Codificador de texto: emplea el codificador bilingüe GLM-4, entrenado con pares de datos de imagen y texto en chino e inglés.

• Optimización de memoria: mediante técnicas como la descarga del modelo a la CPU y la cuantización del codificador de texto, se reduce el consumo de memoria y se mejora la eficiencia de inferencia.

Casos de uso de CogView4

CogView4 es especialmente adecuado para campos creativos que requieren uso del chino, como diseño publicitario, producción de vídeos cortos, creación de pósteres, etc., ya que permite integrar caracteres chinos e ingleses de forma natural en las imágenes.

• Creatividad publicitaria: genera pósteres con texto específico, imágenes para copys, etc.

• Producción de vídeos cortos: genera las imágenes correspondientes a partir de guiones de vídeo o descripciones creativas.

• Creación artística: ayuda a artistas y diseñadores a generar imágenes con estilos y ambientes específicos.

• Ámbito educativo: genera imágenes relacionadas con contenidos didácticos, como representaciones de poemas clásicos.

• Desarrollo de videojuegos: genera escenas y personajes de juego basados en la trama y la configuración de los personajes.

• Otros campos creativos: como creación de cómics, diseño de ilustraciones, promoción de marcas, etc.

Uso de CogView4

1. Prueba en línea

• HuggingFace: https://huggingface.co/spaces/THUDM-HF-SPACE/CogView4

• ModelScope: https://modelscope.cn/models/ZhipuAI/CogView4-6B
  

2. Despliegue local

Si necesitas utilizar CogView4 en local, puedes desplegarlo siguiendo estos pasos:

• Obtener el código del modelo: accede al repositorio de GitHub de CogView4 en la siguiente dirección: https://github.com/THUDM/CogView4.

• Requisitos de hardware: el modelo CogView4 requiere una memoria de vídeo considerable; se recomienda como mínimo una GPU con 12 GB de VRAM.

• Instalación de dependencias: instala las dependencias de Python y el entorno necesarios siguiendo las instrucciones del repositorio de GitHub.

• Ejecución del modelo: inicia el modelo siguiendo la guía del repositorio, introduce un prompt y genera la imagen.

3. Ajuste fino del modelo

Zhipu tiene previsto lanzar un kit de herramientas de ajuste fino para CogView4, que permitirá a los usuarios realizar un entrenamiento personalizado del modelo según sus necesidades. Por ejemplo, se puede realizar un ajuste fino orientado a estilos publicitarios específicos o a requisitos de marca para generar imágenes que se ajusten mejor a sus necesidades.

4. Uso a través de Hugging Face

Dirección del repositorio del modelo en Hugging Face: https://huggingface.co/THUDM/CogView4-6B.