PosterCraft : un framework de génération d'affiches haute qualité 252

PosterCraft est un framework de génération d'affiches proposé conjointement en juin 2025 par des équipes de recherche de l'Université des sciences et technologies de Hong Kong (Canton), de Meituan, de l'Université de Xiamen et de l'Université nationale de Singapour. Grâce à un rendu textuel précis et à l'optimisation du style esthétique, combinés à un étalonnage sensible aux régions et à des techniques d'apprentissage par renforcement, PosterCraft améliore l'intégrité artistique et la cohérence globale des affiches. Il s'appuie également sur un mécanisme de retour visuel-langagier pour optimiser les effets esthétiques par corrections multimodales.

En matière de constitution de jeux de données, PosterCraft a développé plusieurs jeux de données de haute qualité répondant à différents besoins de rendu de texte et de génération d'affiches, jetant ainsi les bases d'une création d'affiches conforme aux standards esthétiques humains.

Ses fonctionnalités principales sont les suivantes :

• Rendu textuel précis : présentation fidèle de textes variés sur des arrière-plans de haute qualité, garantissant l'harmonie entre le texte et l'arrière-plan, et résolvant le problème du manque de fidélité du rendu textuel.

• Optimisation du style esthétique : grâce à une technique d'étalonnage sensible aux régions, le framework renforce l'intégrité artistique des affiches tout en préservant la précision du texte, construisant ainsi une relation visuelle harmonieuse entre le texte et l'arrière-plan.

• Optimisation des préférences esthétiques : à l'aide de techniques d'apprentissage par renforcement, le modèle optimise ses sorties selon des standards esthétiques globaux, réduit les défauts de rendu des polices et apprend des préférences esthétiques de haut niveau telles que l'équilibre de la composition et l'harmonie des couleurs.

• Retour visuel-langagier : à l'aide d'un mécanisme conjoint de conditionnement visuel et langagier, combinant informations visuelles et suggestions textuelles ciblées, des corrections multimodales sont effectuées pour optimiser progressivement le contenu esthétique et la cohérence avec l'arrière-plan de l'affiche.

Le flux de travail de PosterCraft se décompose en quatre étapes :

• Optimisation du rendu textuel : entraînement à grande échelle sur le jeu de données auto-construit Text-Render-2M (contenant 2 millions d'exemples de rendu textuel de haute qualité, prenant en charge le rendu multi-instances et une sélection diversifiée de textes) afin d'améliorer la fidélité du rendu textuel du modèle.

• Réglage fin du style d'affiche : utilisation du jeu de données HQ-Poster-100K (une collection de 100 000 affiches de haute qualité, exploitant des techniques de filtrage avancées, un système de notation multimodal, etc.) et d'une stratégie d'étalonnage sensible aux régions, permettant au modèle d'apprendre la coexistence harmonieuse entre texte et arrière-plan.

• Apprentissage par renforcement esthétique-textuel : adoption d'une stratégie DPO de type best-of-n, permettant au modèle d'apprendre des préférences esthétiques de haut niveau telles que l'équilibre de la composition et l'harmonie des couleurs à partir de comparaisons entre plusieurs versions d'affiches.

• Retour visuel-langagier : introduction d'un retour multimodal basé sur un VLM, affinant et corrigeant itérativement le contenu et le style au cours du processus de génération, avec la possibilité d'ajuster et d'optimiser après génération selon les suggestions de conception.

Les avantages techniques de ce framework se manifestent par :

• Conception de framework unifiée : abandon du flux modulaire « planification-génération » au profit d'une génération de bout en bout, de la saisie textuelle à la sortie d'affiche, garantissant la cohérence visuelle.

• Construction automatisée de jeux de données : conception de jeux de données entièrement automatisés et dédiés à chaque étape d'optimisation, résolvant le problème de la rareté des données.

• Stratégie d'optimisation en cascade :

• Optimisation du rendu textuel à grande échelle : mise à profit de jeux de données de haute qualité dédiés au rendu textuel, préservant les capacités de rendu d'arrière-plan.

• Étalonnage sensible aux régions : pondération différente des zones textuelles et non textuelles lors du réglage fin, préservant la netteté du texte tout en renforçant le style artistique.

• Apprentissage par renforcement basé sur les préférences : apprentissage par paires d'exemples « meilleur / pire », injectant les préférences esthétiques humaines.

• Boucle de retour multimodal :引入 lors de l'inférence de suggestions de correction générées de manière multimodale, intégrées comme entrées conditionnelles pour itérer et optimiser les résultats.

Les tests montrent que PosterCraft surpasse systématiquement les méthodes de pointe existantes en termes de précision du rendu textuel, de qualité esthétique et de structure de mise en page, et reste compétitif face aux systèmes commerciaux. Le modèle peut traiter des invites complexes tout en maintenant la cohérence visuelle, et génère des affiches de haute qualité aussi bien pour des textes longs que pour des invites courtes. Son atout majeur réside dans la génération directe d'affiches à partir d'une invite unique, sans modules supplémentaires ni ajustements manuels, offrant une solution rapide, efficace et évolutive pour les affiches de films, la promotion d'événements, la promotion de produits, etc., sans compromettre la qualité esthétique.

Liens des ressources associées :

GitHub :https://github.com/Ephemeral182/PosterCraft

Site officiel du projet :https://ephemeral182.github.io/PosterCraft/

Huggingface :https://huggingface.co/PosterCraft

Huggingface demo :https://huggingface.co/spaces/Ephemeral182/PosterCraft

YouTube :https://www.youtube.com/watch?v=92wMU4D7qx0