CogView4: 한자 생성을 지원하는 최초의 오픈소스 텍스트 투 이미지 모델 182

小编 · 2025-03-04

CogView4는 Zhipu AI가 2025년 3월 4일에 출시한 오픈소스 텍스트 투 이미지 AI 모델로, 중국어와 영어 이중 언어 프롬프트를 지원하는 최초의 오픈소스 모델이자, 이미지 내에 한자 생성을 지원하는 세계 최초의 오픈소스 텍스트 투 이미지 모델입니다. 중국어 프롬프트 이해와 따르기에 특히 뛰어나 광고, 숏폼 영상 제작 등에 매우 적합합니다.

CogView4: 한자 생성을 지원하는 최초의 오픈소스 텍스트 투 이미지 모델

CogView4이란 무엇인가요?

CogView4는 지푸AI(Zhipu AI)가 2025년 3월 4일에 발표한 중국어와 영어를 모두 지원하는 프롬프트를 지원하는 최초의 오픈소스 텍스트-이미지 생성 AI 모델이며, 한자를 생성할 수 있는 세계 최초의 오픈소스 텍스트-이미지 생성 모델입니다. 특히 중국어 프롬프트를 이해하고 따르는 데 뛰어나며, 이미지 내에서 한자를 생성할 수 있어 광고, 짧은 동영상 제작 등에 매우 적합합니다.

CogView4의 주요 특징

중국어-영어 이중 언어 입력 지원: CogView4는 임의 길이의 중국어 및 영어 프롬프트를 처리하고 고품질 이미지를 생성할 수 있습니다.
한자 생성 능력: 이 모델은 한자를 이미지에 자연스럽게 통합할 수 있어, 광고, 짧은 동영상 등 창의적인 영역에 특히 적합합니다.
임의 해상도 이미지 생성: 512×512에서 2048×2048 범위 내의 모든 해상도 이미지 생성을 지원합니다.
강력한 시맨틱 정렬 능력: DPG-Bench 벤치마크 테스트에서 CogView4의 종합 점수가 1위를 차지하여 복잡한 시맨틱 정렬 및 지시문 따르기에서 뛰어난 성능을 보여주었습니다.
기술 최적화: 2D 회전 위치 임베딩(2D RoPE) 및 다단계 학습 전략을 채택하여, 여기에는 기본 해상도 학습, 일반 해상도 학습, 고품질 데이터 미세 조정, 인간 선호도 정렬 학습이 포함됩니다.
메모리 최적화 및 효율적인 추론: 모델 CPU 오프로드 및 텍스트 인코더 양자화 등의 기술을 통해 메모리 사용량을 크게 줄였습니다.
오픈소스 및 생태계 지원: Apache 2.0 라이선스를 따르며, 향후 ControlNet, ComfyUI 등 생태계 통합을 지원하고 완전한 미세 조정 도구 키트를 출시할 예정입니다.