CogView4: Das weltweit erste Open-Source-Text-zu-Bild-Modell mit Unterstützung für chinesische Zeichen 186

Was ist CogView4?

CogView4 ist das erste Open-Source-Text-zu-Bild-KI-Modell, das zweisprachige Prompts in Chinesisch und Englisch unterstützt und am 4. März 2025 von Zhipu AI veröffentlicht wurde. Es ist zudem das weltweit erste Open-Source-Text-zu-Bild-Modell, das die Erzeugung chinesischer Zeichen unterstützt. Es versteht und befolgt insbesondere chinesische Prompts besonders gut und kann chinesische Zeichen in Bildern generieren, was es ideal für Werbung, die Erstellung von Kurzvideos und ähnliche Anwendungen macht.

Hauptmerkmale von CogView4

• Unterstützung für zweisprachige Eingabe in Chinesisch und Englisch: CogView4 kann chinesische und englische Prompts beliebiger Länge verarbeiten und hochwertige Bilder erzeugen.

• Fähigkeit zur Erzeugung chinesischer Zeichen: Das Modell kann chinesische Zeichen auf natürliche Weise in Bilder integrieren und eignet sich besonders für kreative Bereiche wie Werbung und Kurzvideos.

• Bilderzeugung mit beliebiger Auflösung: Unterstützt die Erzeugung von Bildern mit beliebigen Auflösungen im Bereich von 512×512 bis 2048×2048.

• Starke semantische Ausrichtungsfähigkeit: Im DPG-Bench-Benchmark belegt CogView4 den ersten Platz in der Gesamtbewertung und zeigt eine herausragende Leistung bei der komplexen semantischen Ausrichtung und Befolgung von Anweisungen.

• Technische Optimierung: Verwendet 2D-Rotary-Positions-Embedding (2D RoPE) und mehrstufige Trainingsstrategien, einschließlich Training mit Basisauflösung, auflösungsübergreifendem Training, Feinabstimmung mit hochwertigen Daten sowie Training zur Ausrichtung an menschlichen Präferenzen.

• Speicheroptimierung und effiziente Inferenz: Durch Techniken wie CPU-Offloading des Modells und Quantisierung des Text-Encoders wird der VRAM-Verbrauch deutlich reduziert.

• Open Source und Ökosystem-Unterstützung: Veröffentlicht unter der Apache-2.0-Lizenz. Zukünftig werden Integrationen in Ökosysteme wie ControlNet und ComfyUI sowie ein vollständiges Tool-Paket für Feinabstimmungen unterstützt.

CogView4-Technik

• Architektur: Basiert auf einem Diffusionsmodell in Kombination mit einer Transformer-Architektur und verwendet 6 Milliarden Parameter.

• Text-Encoder: Verwendet den zweisprachigen GLM-4-Encoder, der mit zweisprachigen chinesisch-englischen Bild-Text-Paaren trainiert wurde.

• Speicheroptimierung: Durch Techniken wie CPU-Offloading des Modells und Quantisierung des Text-Encoders wird der VRAM-Verbrauch gesenkt und die Inferenzeffizienz gesteigert.

Anwendungsszenarien von CogView4

CogView4 eignet sich besonders für Bereiche, die chinesische Kreativität erfordern, wie z. B. Werbedesign, Erstellung von Kurzvideos, Postergestaltung usw., und kann chinesische und englische Zeichen natürlich in die Bilder integrieren.

• Werbekreativität: Erstellung von Postern mit bestimmten Texten, Copywriting-Begleitbildern usw.

• Erstellung von Kurzvideos: Erzeugung passender Bilder basierend auf Videoskripten oder kreativen Beschreibungen.

• Künstlerische Kreation: Unterstützung für Künstler und Designer bei der Erzeugung von Bildern mit bestimmten Stilen und Stimmungen.

• Bildungsbereich: Erzeugung von Bildern im Zusammenhang mit Lehrinhalten, z. B. Stimmungsbilder zu klassischen Gedichten.

• Spieleentwicklung: Erzeugung von Spielszenen und Charakterbildern basierend auf der Handlung und den Charaktersetzungen des Spiels.

• Weitere kreative Bereiche: Wie Comic-Erstellung, Illustration, Markenwerbung usw.

Verwendung von CogView4

1. Online-Erfahrung

• HuggingFace: https://huggingface.co/spaces/THUDM-HF-SPACE/CogView4

• ModelScope: https://modelscope.cn/models/ZhipuAI/CogView4-6B
  

2. Lokale Bereitstellung

Wenn Sie CogView4 lokal verwenden möchten, können Sie es mit den folgenden Schritten bereitstellen:

• Modellcode beziehen: Besuchen Sie das GitHub-Repository von CogView4 unter: https://github.com/THUDM/CogView4.

• Hardwareanforderungen: Das CogView4-Modell benötigt viel VRAM. Es wird mindestens eine GPU mit 12 GB VRAM empfohlen.

• Abhängigkeiten installieren: Installieren Sie die erforderlichen Python-Abhängigkeiten und -Umgebungen gemäß den Anweisungen im GitHub-Repository.

• Modell ausführen: Starten Sie das Modell gemäß den Anleitungen im Repository und geben Sie Prompts ein, um Bilder zu erzeugen.

3. Modell-Feinabstimmung

Zhipu plant die Veröffentlichung eines Feinabstimmungs-Toolkits für CogView4, mit dem Nutzer das Modell nach ihren Bedürfnissen individuell trainieren können. Beispielsweise kann eine Feinabstimmung auf bestimmte Werbestile oder Markenanforderungen erfolgen, um Bilder zu erzeugen, die den Anforderungen besser entsprechen.

4. Verwendung über Hugging Face

Hugging Face Modellbibliothek-Adresse: https://huggingface.co/THUDM/CogView4-6B.