Glyph-ByT5 : un encodeur de texte qui améliore la précision du rendu du texte dans la génération d'images 199

Glyph-ByT5, un encodeur de texte capable d'améliorer la précision du rendu de texte dans la génération d'images.Glyph-ByT5 peut non seulement traiter des lettres ou des mots individuels, mais aussi des paragraphes entiers, et dispose également d'une mise en page intelligente du texte avec une composition automatique pour garantir un résultat esthétique.

Grâce à sa version améliorée Glyph-ByT5-v2, Glyph-ByT5 offre une plus grande précision et un support linguistique plus large pour le rendu de texte dans la génération d'images.

Points forts de Glyph-ByT5 :

Glyph-ByT5 a identifié deux exigences clés pour qu'un encodeur de texte parvienne à un rendu visuel précis du texte : la reconnaissance des caractères et l'alignement des glyphes. Pour y répondre, Glyph-ByT5 propose un encodeur de texte personnalisé, Glyph-ByT5, obtenu en affinant l'encodeur ByT5 sensible aux caractères à l'aide d'un ensemble de données soigneusement constitué associant glyphes et textes.

Glyph-ByT5 propose une méthode efficace pour intégrer Glyph-ByT5 à SDXL, créant ainsi le modèle Glyph-SDXL dédié à la génération d'images de design. Cela améliore considérablement la précision du rendu de texte, la faisant passer de moins de 20 % à près de 90 % sur le benchmark d'images de design de Glyph-ByT5. Fait remarquable, la nouvelle capacité de rendu de paragraphes de texte de Glyph-SDXL permet d'obtenir une précision orthographique élevée pour des dizaines voire des centaines de caractères grâce à une mise en page automatique sur plusieurs lignes.

Glyph-ByT5 fournit un puissant encodeur de texte multilingue personnalisable, Glyph-ByT5-v2, ainsi qu'un solide modèle de génération graphique esthétique, Glyph-SDXL-v2, capable de prendre en charge une orthographe précise dans différentes langues.

Fonctionnalités principales de Glyph-ByT5 :

• Meilleure compréhension du texte : Glyph-ByT5 comprend mieux le texte, garantissant que chaque lettre et symbole apparaît dans l'image exactement comme saisi.

• Cohérence entre le texte et son affichage : Glyph-ByT5 veille à ce que le texte soit affiché exactement dans le style attendu, qu'il s'agisse d'une affiche ou d'un design de t-shirt.

• Amélioration de la précision de l'affichage du texte : grâce à Glyph-ByT5, la précision de l'affichage du texte dans les images de design est considérablement améliorée.

• Rendu de paragraphes : Glyph-ByT5 peut traiter non seulement des lettres ou des mots isolés, mais aussi des paragraphes entiers, en organisant automatiquement la mise en page du texte sur plusieurs lignes pour un résultat à la fois esthétique et précis.

• Amélioration de l'affichage du texte dans les scènes : Glyph-ByT5 est capable de traiter et de mettre en page automatiquement le texte de paragraphes entiers, et d'améliorer l'affichage du texte dans les images de scènes réelles, comme les panneaux de signalisation, les panneaux publicitaires ou les inscriptions sur les vêtements, le tout de manière claire et précise.

Adresse de démonstration : https://huggingface.co/papers/2406.10208

Adresse du projet : https://glyph-byt5.github.io/

Adresse de l'article : https://arxiv.org/abs/2403.09622

Github : https://github.com/aiGText/Glyph-ByT5