PosterCraft: framework para generar pósteres de alta calidad 249

PosterCraft es un marco de generación de carteles presentado en junio de 2025 por un equipo de investigación conjunto de la Universidad de Ciencia y Tecnología de Hong Kong (Guangzhou), Meituan, la Universidad de Xiamen y la Universidad Nacional de Singapur. Mediante la renderización precisa de texto y la optimización del estilo estético, combinado con la calibración感知 regional y técnicas de aprendizaje por refuerzo, PosterCraft mejora la integridad artística y la coordinación general de los carteles. Al mismo tiempo, gracias a un mecanismo de retroalimentación visión-lenguaje, optimiza el efecto estético mediante correcciones multimodales.

En cuanto a la construcción del conjunto de datos, PosterCraft ha desarrollado varios conjuntos de datos de alta calidad que satisfacen las diferentes necesidades de renderización de texto y generación de carteles, sentando las bases para la creación de carteles que cumplan con los estándares estéticos humanos.

Sus funciones principales incluyen:

• Renderización precisa de texto: presenta con precisión diversos textos sobre fondos de alta calidad, garantizando la armonía entre el texto y el fondo, y resolviendo el problema de la fidelidad insuficiente en la renderización de texto.

• Optimización del estilo estético: utiliza tecnología de calibración感知 regional para reforzar la integridad artística del cartel, manteniendo la precisión del texto y construyendo una relación visual armoniosa entre el texto y el fondo.

• Optimización de preferencias estéticas: mediante técnicas de aprendizaje por refuerzo, optimiza la salida según estándares estéticos generales, reduciendo los defectos de renderización de fuentes y permitiendo que el modelo aprenda preferencias estéticas de alto nivel como el equilibrio compositivo y la armonía cromática.

• Retroalimentación visión-lenguaje: con un mecanismo de regulación conjunta visión-lenguaje, combina información visual con sugerencias textuales específicas para realizar correcciones multimodales, optimizando gradualmente el contenido estético del cartel y la coordinación con el fondo.

El flujo de trabajo de PosterCraft se divide en cuatro etapas:

• Optimización de la renderización de texto: entrenamiento a gran escala sobre el conjunto de datos Text-Render-2M construido internamente (que contiene 2 millones de ejemplos de renderización de texto de alta calidad, compatible con renderización de texto multiinstancia y selección diversa de texto), mejorando la fidelidad de renderización de texto del modelo.

• Ajuste fino del estilo del cartel: utiliza el conjunto de datos HQ-Poster-100K (una colección de 100.000 carteles de alta calidad, con técnicas avanzadas de filtrado, sistema de puntuación multimodal, etc.) y una estrategia de calibración感知 regional para el ajuste fino, permitiendo que el modelo aprenda la coexistencia armoniosa entre texto y fondo.

• Aprendizaje por refuerzo estético del texto: adopta una estrategia DPO basada en best-of-n, que permite al modelo aprender preferencias estéticas de alto nivel como el equilibrio compositivo y la armonía cromática a partir de la comparación de múltiples versiones de carteles.

• Retroalimentación visión-lenguaje: introduce retroalimentación multimodal basada en VLM, refinando y corrigiendo iterativamente el contenido y el estilo durante el proceso de generación; tras la generación, se puede ajustar y optimizar según las sugerencias de diseño.

Las ventajas técnicas de este marco se reflejan en:

• Diseño de marco unificado: abandona el flujo modular de "planificación-generación", logrando una generación de extremo a extremo desde la entrada de texto hasta la salida del cartel, garantizando la coherencia visual.

• Construcción automatizada del conjunto de datos: diseña conjuntos de datos totalmente automáticos específicos para cada etapa de optimización, resolviendo el problema de la escasez de datos.

• Estrategia de optimización en cascada:

• Optimización de renderización de texto a gran escala: utiliza conjuntos de datos de alta calidad centrados en la renderización de texto, garantizando la capacidad de renderización del fondo.

• Calibración感知 regional: durante el ajuste fino, asigna diferentes pesos a las regiones de texto y no textuales, conservando la claridad del texto y reforzando el estilo artístico.

• Aprendizaje por refuerzo basado en preferencias: aprende a partir de pares de muestras "mejor/peor", inyectando preferencias estéticas humanas.

• Bucle de retroalimentación multimodal: introduce sugerencias de corrección de generación multimodal durante la inferencia, integrándolas en la entrada condicional para optimizar iterativamente los resultados.

Las pruebas muestran que PosterCraft supera de forma consistente a los métodos avanzados existentes en precisión de renderización de texto, calidad estética y estructura de diseño, y también es competitivo en comparación con sistemas comerciales. El modelo puede manejar indicaciones complejas y mantener la coherencia visual, generando carteles de alta calidad tanto con textos largos como con indicaciones cortas. Su ventaja radica en generar carteles directamente a partir de una única indicación, sin necesidad de módulos adicionales ni ajustes manuales, proporcionando una solución rápida, eficiente y escalable para escenarios como carteles de películas, promoción de eventos y推广 de productos, sin reducir la calidad estética.

Enlaces de recursos relacionados:

GitHub：https://github.com/Ephemeral182/PosterCraft

Sitio web oficial del proyecto：https://ephemeral182.github.io/PosterCraft/

Huggingface：https://huggingface.co/PosterCraft

Demo en Huggingface：https://huggingface.co/spaces/Ephemeral182/PosterCraft

YouTube：https://www.youtube.com/watch?v=92wMU4D7qx0