Seedream 3.0:ByteDanceが発表した高性能中英バイリンガル画像生成モデル 236

小编 ·

Seedream 3.0:ByteDanceが発表した高性能中英バイリンガル画像生成モデル

Seedream 3.0は、ByteDanceのSeedチームが発表した最新のネイティブ高解像度・中英バイリンガル対応の画像生成基盤モデルです。2K解像度の画像を3秒で生成でき、小型フォントや複数行のテキストレイアウトに対応、中英文字の利用率はともに94%に達します。Seedream 3.0はバイトダンスの「Jimeng(ジーメン)」や「Doubao(トウバオ)」などのプラットフォームで公開されており、ポスター制作、広告制作、グラフィックデザイン、映画シーン生成などさまざまなシーンに活用できます。

Seedream 3.0:ByteDanceが発表した高性能中英バイリンガル画像生成モデル

Seedream 3.0とは?

Seedream 3.0は、バイトダンス Seedチームが最近リリースした、ネイティブの高解像度対応・中英バイリンガル対応の画像生成基盤モデルです。2K解像度の画像を生成でき、画像生成にかかる時間はわずか3秒です。さらに、小さいフォントや複数行のテキストレイアウトにも対応しており、中国語と英語の文字利用可能率はどちらも94%に達しています。Seedream 3.0は、すでに自社プラットフォームである即夢(Jimeng)や豆包(Doubao)などで公開されており、ポスターデザイン、広告制作、グラフィックデザイン、映像シーンの生成など、さまざまなシーンに活用できます。

Seedream 3.0:バイトダンス推出的高性能中英バイリンガル画像生成モデル.webp

性能向上

高解像度生成:Seedream 3.0は、ネイティブで2K解像度の画像を直接出力でき、後処理が不要です。スマートフォン画面から大型ポスターまで、さまざまなビジュアルニーズに対応できます。

超高速生成:このモデルの画像生成速度は非常に高速で、1K解像度の高品質な画像をわずか約3秒で生成できます。同業他社の類似モデルが10秒以上、場合によってはさらに長い時間を要するのに対し、以前のテキストから画像を生成するSOTAモデルであるGPT-4oの平均生成時間77秒と比べても、明らかな優位性があります。

テキスト処理能力

小さいフォントの高忠実度生成:業界が抱える小さいフォント生成の課題を解決し、明確で正確な小さいフォントコンテンツを生成できます。

複数行テキストのレイアウト:複数行のテキストレイアウトにおいて優れたパフォーマンスを発揮し、テキストの配置の自然さとシャープさ(意図的・整合的な表現)を向上させます。

バイリンガル対応:中国語と英語の両方に対して強力なサポートを提供し、中国語と英語の文字のテキスト可用率はどちらも94%に達しており、画像生成におけるテキストレンダリングの制約問題を基本的に解決しました。

画像品質と美しさ

美しさと構造の最適化:生成された画像は美しさと構造がさらに向上し、指示への追従性が高まり、より訴求力のある画像を出力できます。高品質な構図とカラーマッチングを生成することが可能です。

リアルな人物画像生成:人物のリアリズムにおいて際立った性能を発揮し、シワ、産毛、傷跡などのリアルな特徴を持つ肌のテクスチャを生成できます。そのリアル度は、基本的にプロフェッショナルな写真撮影のレベルに近づいています。

技術革新

データの最適化:画像の欠陥を認識してデータセットを拡張し、視覚と意味の協調サンプリング戦略と自社開発の画像テキスト検索システムを採用してデータ分布を改善します。

事前学習と事後学習:事前学習段階では、クロスモーダル回転位置符号化を使用してテキストレンダリング能力を強化し、複数解像度の混合トレーニングによって2K画像の直接出力を実現し、新しい損失関数を用いてトレーニング効果を向上させています。事後学習のRLHF段階では、複数粒度の美しさ記述を設計し、報酬モデルの規模を拡張してモデル性能を向上させています。

推論の高速化:一貫性のあるノイズ予測と安定したサンプリングプロセスを採用し、重要なタイムステップのサンプリングを利用してモデル蒸留トレーニングを加速することで、1K解像度の画像生成をエンドツーエンドでわずか3秒で実現しています。

応用シーン

  • プロフェッショナルなポスター制作:複数行テキストのレイアウトや、小さい文字の高忠実度生成の課題を解決

  • 映画・テレビの特殊効果制作:キャラクターの肌のディテール生成(シワ、毛髪など)をサポート

  • デジタルアート制作:正確な色彩と豊かなテクスチャを持つアート作品を生成可能

詳細紹介:https://team.doubao.com/zh/tech/seedream3_0