Seedream 3.0: ByteDance의 고성능 중영어 이중 언어 이미지 생성 모델 233

Seedream 3.0이란 무엇인가?

Seedream 3.0은 ByteDance(바이트댄스) Seed 팀이 최신 출시한 네이티브 고해상도 중국어·영어 이중 언어 지원 이미지 생성 기초 모델입니다. 2K 해상도 이미지를 생성할 수 있으며, 이미지 출력은 단 3초밖에 걸리지 않고, 작은 글꼴과 다중 행 텍스트 배치를 지원하며, 중국어와 영어 문자 가용률이 각각 94%에 달합니다. Seedream 3.0은 자사의 플랫폼인 Jimeng(即夢)과 Doubao(豆包) 등에서 이미 개방되어 있으며, 포스터 디자인, 광고 제작, 그래픽 디자인, 영화·TV 장면 생성 등 다양한 시나리오에 적용됩니다.

성능 향상

고해상도 생성: Seedream 3.0은 별도의 후처리 없이 2K 해상도 이미지를 네이티브 방식으로 직접 출력할 수 있어, 스마트폰 화면부터 대형 포스터까지 다양한 시각적 요구를 충족합니다.

초고속 생성: 이 모델의 이미지 출력 속도는 매우 빨라, 약 3초만에 1K 해상도의 고품질 이미지를 생성할 수 있습니다. 업계의同类 모델이 10초 이상(때로는 그 이상)이 걸리는 데 비해, 그리고 이전 텍스트-이미지 SOTA 모델인 GPT-4o의 평균 77초 소요 시간과 비교하면 그 우위가 뚜렷합니다.

텍스트 처리 능력

작은 글꼴 고충실도 생성: 업계의 작은 글꼴 생성 난제를 해결하여, 선명하고 정확한 작은 글꼴 콘텐츠를 생성할 수 있습니다.

다중 행 텍스트 배치: 다중 행 텍스트 배치에서 뛰어난 성능을 발휘하며, 텍스트 레이아웃의 자연스러움과 의미적连贯性을 향상시켰습니다.

이중 언어 지원: 중국어와 영어 이중 언어 모두 강력한 지원을 제공하며, 중국어와 영어 문자의 텍스트 가용률이 각각 94%에 도달하여, 이미지 생성에서 텍스트 렌더링이 걸림돌이 되던 문제를 사실상 해결했습니다.

이미지 품질과 미감

미감과 구조 최적화: 생성된 이미지의 미감과 구조가 한 단계 더 향상되었으며, 지시문 준수력이 강화되어 더욱 감동력 있는 이미지 출력이 가능하고, 고품질의构图과 색상 조합을 생성할 수 있습니다.

사실적인 인물 생성: 인물 사실감 측면에서 두드러진 성능을 보여, 주름, 솜털, 흉터 등 실제 특징을 가진 피부 질감을 생성할 수 있으며, 사실성이 사실상 전문 사진 촬영 수준에 근접합니다.

기술 혁신

데이터 최적화: 이미지 결함 인지 방식으로 데이터셋을 확장하고, 시각-의미 협동 샘플링 전략과 자체 개발한 이미지-텍스트 검색 시스템을 채택하여 데이터 분포를 개선했습니다.

사전 학습 및 사후 학습: 사전 학습 단계에서는 크로스모달 회전 위치 인코딩을 사용하여 텍스트 렌더링 능력을 강화하고, 다중 해상도 혼합 훈련을 통해 2K 이미지 직접 출력을 실현했으며, 새로운 손실 함수를 채택하여 훈련 효과를 높였습니다. 사후 학습 RLHF 단계에서는 다중 세분화 미감 묘사를 설계하고, 보상 모델 규모를 확장하여 모델 성능을 향상시켰습니다.

추론 가속: 일관성 잡음 예측과平稳 샘플링 과정을 채택하고, 중요 타임스텝 샘플링을 활용하여 모델 증류 훈련을 가속화함으로써, 1K 해상도 이미지 생성에 엔드 투 엔드 단 3초만이 소요되도록 구현했습니다.

활용 시나리오

• 전문 포스터 디자인: 다중 행 텍스트 배치, 작은 글자 고충실도 생성 난제 해결

• 영화·TV 특수 효과 제작: 캐릭터 피부 디테일 생성 지원(주름, 체모 등)

• 디지털 예술 창작: 색상이 정확하고 텍스처가 풍부한 예술 작품 생성 가능

자세한 소개:https://team.doubao.com/zh/tech/seedream3_0