Glyph-ByT5: текстовый энкодер, повышающий точность рендеринга текста в генерации изображений 194

Glyph-ByT5 — текстовый кодировщик, способный повысить точность рендеринга текста при генерации изображений.Glyph-ByT5 умеет работать не только с отдельными буквами или словами, но и с целыми абзацами, а также интеллектуально организует разметку текста, выполняя автоматическую вёрстку для обеспечения эстетичного вида.

Glyph-ByT5 благодаря своей обновлённой версии Glyph-ByT5-v2 обеспечивает более высокую точность и расширенную языковую поддержку при рендеринге текста в генерации изображений.

Ключевые преимущества Glyph-ByT5:

Glyph-ByT5 определил два ключевых требования к текстовому кодировщику для точного визуального рендеринга текста: распознавание символов и выравниение глифов. Поэтому Glyph-ByT5 представляет специализированный текстовый кодировщик Glyph-ByT5, созданный путём дообучения кодировщика ByT5 с учётом символов на тщательно подготовленном наборе парных данных «глиф — текст».

Glyph-ByT5 предлагает эффективный метод интеграции Glyph-ByT5 с SDXL, создавая тем самым модель Glyph-SDXL для генерации дизайнерских изображений. Это значительно повышает точность рендеринга текста, увеличивая её с менее чем 20% почти до 90% в тестах дизайнерских изображений Glyph-ByT5. Примечательно, что Glyph-SDXL обрела новую возможность рендеринга текстовых абзацев, обеспечивая высокую орфографическую точность от десятков до сотен символов за счёт автоматической многострочной разметки.

Glyph-ByT5 предоставляет мощный настраиваемый многоязычный текстовый кодировщик Glyph-ByT5-v2 и мощную модель генерации эстетичной графики Glyph-SDXL-v2, которые обеспечивают точное написание на разных языках.

Основные функции Glyph-ByT5:

• Лучшее понимание текста: Glyph-ByT5 лучше понимает текст, обеспечивая полное соответствие отображения каждой буквы и символа на изображении введённому тексту.

• Соответствие текста его отображению: Glyph-ByT5 гарантирует полное соответствие отображения текста его стилю, будь то плакат или дизайн футболки.

• Повышение точности отображения текста: использование Glyph-ByT5 значительно повышает точность отображения текста на дизайнерских изображениях.

• Рендеринг абзацев: Glyph-ByT5 способен обрабатывать не только отдельные буквы или слова, но и целые абзацы, автоматически организуя многострочную разметку текста так, чтобы она была одновременно эстетичной и точной.

• Улучшение отображения текста в сценах: Glyph-ByT5 может обрабатывать и автоматически верстать текст целых абзацев, а также улучшать отображение текста на изображениях реальных сцен — таких как дорожные знаки, рекламные щиты или надписи на одежде — обеспечивая его чёткое и точное воспроизведение.

Демо: https://huggingface.co/papers/2406.10208

Сайт проекта: https://glyph-byt5.github.io/

Статья: https://arxiv.org/abs/2403.09622

Github: https://github.com/aiGText/Glyph-ByT5