Glyph-ByT5：画像生成におけるテキストレンダリング精度を向上させるテキストエンコーダ 193

Glyph-ByT5は、画像生成におけるテキストレンダリングの精度を向上させるテキストエンコーダーです。Glyph-ByT5は、単一の文字や単語だけでなく、段落全体の処理にも対応しており、テキストのレイアウトを自動的に配置し、美しい組版を実現します。

Glyph-ByT5は、アップグレード版のGlyph-ByT5-v2を通じて、画像生成におけるテキストレンダリングのより高い精度とより広範な言語サポートを提供します。

Glyph-ByT5の主なポイント：

Glyph-ByT5は、テキストエンコーダーが正確なビジュアルテキストレンダリングを実現するための2つの重要な要件、文字認識とグリフアラインメントを特定しました。そのため、Glyph-ByT5は精心してキュレーションされたペアグリフテキストデータセットを使用して文字認識対応のByT5エンコーダーをファインチューニングすることで、カスタムテキストエンコーダーGlyph-ByT5を提案しています。

Glyph-ByT5は、Glyph-ByT5とSDXLを統合する効果的な方法を提案し、デザイン画像生成用のGlyph-SDXLモデルを作成しました。これにより、テキストレンダリングの精度が大幅に向上し、Glyph-ByT5のデザイン画像ベンチマークで20％未満から約90％へと引き上げられました。注目すべきは、自動複数行レイアウトにより数十から数百の文字の高いスペル精度を実現する、Glyph-SDXLの新しく発見されたテキスト段落レンダリング機能です。

Glyph-ByT5は、強力なカスタマイズ可能な多言語テキストエンコーダーGlyph-ByT5-v2と強力な美的グラフィック生成モデルGlyph-SDXL-v2を提供し、異なる言語での正確なスペリングをサポートできます。

Glyph-ByT5の主な機能：

• テキストの理解向上：Glyph-ByT5はテキストをより深く理解し、画像内のすべての文字や記号が入力時と完全に一致して表示されることを保証します。

• テキストとその表示スタイルの整合性を確保：Glyph-ByT5は、ポスターやTシャツデザインなど、テキストの表示スタイルが本来あるべき姿と完全に一致することを保証します。

• テキスト表示の精度向上：Glyph-ByT5を使用することで、デザイン画像内のテキスト表示の精度を大幅に向上させることができます。

• 段落のレンダリング：Glyph-ByT5は、単一の文字や単語だけでなく、段落全体の処理にも対応しており、複数行のテキストレイアウトを自動的かつ美しく正確に配置できます。

• シーン内テキスト表示の改善：Glyph-ByT5は、段落全体のテキストを処理して自動的に組版できるほか、道路標識、看板、衣服上のテキストなど、現実のシーン画像内のテキスト表示を改善し、明瞭かつ正確に表示することができます。

デモアドレス：https://huggingface.co/papers/2406.10208

プロジェクトアドレス：https://glyph-byt5.github.io/

論文アドレス：https://arxiv.org/abs/2403.09622

Github：https://github.com/aiGText/Glyph-ByT5