PosterCraft: фреймворк для генерации высококачественных постеров 247

小编 · 2025-06-24

PosterCraft — фреймворк для генерации постеров, совместно предложенный в июне 2025 года исследовательскими командами из HKUST (Гуанчжоу), Meituan, Сямэньского университета и Национального университета Сингапура. Он сочетает точное текстовое отображение и оптимизацию эстетического стиля с регионально-ориентированной калибровкой и обучением с подкреплением, повышая художественную целостность и общую гармоничность постеров. Механизм обратной связи между зрительной и языковой моделями дополнительно улучшает эстетику за счёт мультимодальных корректировок.

PosterCraft: фреймворк для генерации высококачественных постеров

PosterCraft — это фреймворк для генерации плакатов, представленный в июне 2025 года совместной исследовательской группой из Гонконгского университета науки и технологий (Гуанчжоу), Meituan, Сямэньского университета и Национального университета Сингапура. PosterCraft обеспечивает точное текстовое отображение и оптимизацию эстетического стиля, сочетая регионально-ориентированную калибровку и методы обучения с подкреплением, что повышает художественную целостность и общую гармоничность плакатов. Одновременно с помощью механизма визуально-языковой обратной связи выполняется мультимодальная корректировка для оптимизации эстетического результата.

Что касается построения наборов данных, PosterCraft разработал несколько высококачественных наборов данных, удовлетворяющих различные потребности в текстовом рендеринге и генерации плакатов, что заложило основу для создания плакатов, соответствующих эстетическим стандартам человека.

PosterCraft：高质量海报生成框架 .io.webp

Его ключевые функции включают:

Точный текстовый рендеринг: точное отображение разнообразного текста на высококачественном фоне, обеспечение гармоничного единства текста и фона, решение проблемы недостаточной точности текстового рендеринга.
Оптимизация эстетического стиля: использование технологии регионально-ориентированной калибровки для усиления художественной целостности плаката, сохранение точности текста и построение гармоничного визуального соотношения между текстом и фоном.
Оптимизация эстетических предпочтений: с помощью методов обучения с подкреплением выходные данные оптимизируются в соответствии с общими эстетическими стандартами, что уменьшает дефекты рендеринга шрифтов и позволяет модели обучаться высокоуровневым эстетическим предпочтениям, таким как баланс композиции и гармония цвета.
Визуально-языковая обратная связь: с помощью совместного механизма визуально-языковой регулировки, сочетающего визуальную информацию и целенаправленные текстовые рекомендации, выполняется мультимодальная корректировка для постепенной оптимизации эстетического содержания плаката и согласованности с фоном.

Рабочий процесс PosterCraft состоит из четырёх этапов:

Оптимизация текстового рендеринга: масштабное обучение на собственном наборе данных Text-Render-2M (содержащем 2 миллиона высококачественных примеров текстового рендеринга, поддерживающем многоэкземплярный текстовый рендеринг и разнообразный выбор текста) для повышения точности текстового рендеринга модели.
Тонкая настройка стиля плаката: тонкая настройка с использованием набора данных HQ-Poster-100K (коллекция из 100 000 высококачественных плакатов, созданная с применением передовых методов фильтрации, мультимодальной системы оценки и т. д.) и стратегии регионально-ориентированной калибровки, позволяющая модели обучаться гармоничному сосуществованию текста и фона.
Обучение с подкреплением для эстетики текста: применение стратегии DPO на основе best-of-n, позволяющей модели обучаться высокоуровневым эстетическим предпочтениям, таким как баланс композиции и гармония цвета, путём сравнения нескольких версий плакатов.
Визуально-языковая обратная связь: введение мультимодальной обратной связи на основе VLM для итеративного уточнения и корректировки содержания и стиля в процессе генерации; после генерации возможна корректировка и оптимизация в соответствии с рекомендациями по дизайну.

Технические преимущества этого фреймворка проявляются в следующем:

Дизайн единого фреймворка: отказ от модульного процесса «планирование — генерация», реализация сквозной генерации от текстового ввода к выходному плакату, обеспечение визуальной связности.
Автоматизированное построение наборов данных: разработка специализированных полностью автоматических наборов данных для каждого этапа оптимизации, решение проблемы нехватки данных.
Стратегия каскадной оптимизации:

Крупномасштабная оптимизация текстового рендеринга: использование высококачественных наборов данных для специализации на текстовом рендеринге при сохранении возможностей фонового рендеринга.
Регионально-ориентированная калибровка: при тонкой настройке различным областям — текстовым и нетекстовым — присваиваются разные веса, что сохраняет чёткость текста и усиливает художественный стиль.
Обучение с подкреплением на основе предпочтений: обучение через пары «лучший/худший» образцы для внедрения человеческих эстетических предпочтений.
Мультимодальный цикл обратной связи: введение на этапе вывода мультимодальных рекомендаций по корректировке генерации, интегрируемых в условный ввод для итеративной оптимизации результатов.

Тестирование показывает, что PosterCraft стабильно превосходит существующие передовые методы по точности текстового рендеринга, эстетическому качеству и структуре компоновки, а также является конкурентоспособным по сравнению с коммерческими системами. Эта модель способна обрабатывать сложные подсказки и поддерживать визуальную согласованность, генерируя высококачественные плакаты как для длинных текстов, так и для коротких подсказок. Её преимущество заключается в прямой генерации плакатов из одной подсказки без дополнительных модулей или ручной настройки, обеспечивая быстрое и эффективное масштабируемое решение для таких сценариев, как постеры к фильмам, реклама мероприятий и продвижение продуктов, без снижения эстетического качества.