Paper2Poster : outil de conversion d'articles en affiches multimodales 251

小编 ·

Paper2Poster : outil de conversion d'articles en affiches multimodales

Paper2Poster est un système multi-agents open source développé conjointement par l'Université de Waterloo (Canada), l'Université nationale de Singapour et l'Université d'Oxford. Son pipeline multi-agents PosterAgent, doté d'un parseur, d'un planificateur et d'une boucle dessin-commentaire, transforme automatiquement les articles scientifiques en affiches multimodales.

Paper2Poster : outil de conversion d'articles en affiches multimodales

Qu'est-ce que Paper2Poster ?

Paper2Poster est un système multi-agents open source développé conjointement par l'Université de Waterloo au Canada, l'Université nationale de Singapour et l'Université d'Oxford, entre autres institutions. Son pipeline multi-agents PosterAgent permet de générer automatiquement des affiches multimodias à partir d'articles scientifiques grâce à un analyseur, un planificateur et une boucle de rendu-commentaire.

Paper2Poster : un outil de conversion d'articles en affiches multimodias.webp

Fonctionnalités de Paper2Poster

  • Compression de textes longs : comprime des articles scientifiques de plusieurs pages en une affiche d'une seule page, tout en conservant le contenu essentiel de l'article.

  • Traitement de contenu multimodal : extrait le texte, les graphiques, les images et autres contenus multimodias de l'article, et les intègre de manière cohérente dans l'affiche.

  • Optimisation de la mise en page : génère une mise en page d'affiche esthétique et logique, garantissant une distribution harmonieuse du contenu dans un espace limité.

  • Amélioration de la qualité visuelle : optimise l'apparence visuelle de l'affiche grâce à un mécanisme de retour visuel, améliorant ainsi sa lisibilité.

  • Évaluation et optimisation : évalue la capacité de l'affiche à transmettre le contenu essentiel via PaperQuiz, et optimise en fonction des retours.

Principes techniques de Paper2Poster

Le cœur de Paper2Poster est PosterAgent, qui comprend trois composants :

  • Parser (Analyseur) : convertit le PDF en format Markdown, puis génère une bibliothèque d'actifs structurée au format JSON.

  • Planner (Planificateur) : aligne les éléments textuels et visuels, génère une mise en page en arbre binaire, en respectant l'ordre de lecture et l'équilibre spatial.

  • Painter–Commenter (Concepteur–Commentateur) : génère le contenu spécifique de chaque panneau et optimise la mise en page des panneaux grâce à un mécanisme de retour visuel.

Comment utiliser Paper2Poster

  • Installation : prend en charge le déploiement local (via vLLM) ou l'accès par API (comme GPT-4o). Les étapes d'installation comprennent l'installation des paquets de dépendances, la configuration des variables d'environnement, etc.

  • Démarrage rapide : placez le fichier PDF de l'article dans le répertoire spécifié et exécutez une commande spécifique pour générer l'affiche.

Avantages de Paper2Poster

  • Efficacité : permet de générer une affiche en quelques minutes seulement, ce qui permet de gagner beaucoup de temps et d'énergie par rapport aux méthodes manuelles traditionnelles.

  • Faible coût : le coût de génération peut descendre jusqu'à 0,005 dollar, ce qui réduit considérablement la barrière à la diffusion académique.

  • Open source : les poids open source ont été publiés sur la plateforme HuggingFace, permettant aux utilisateurs de les utiliser gratuitement et de les optimiser selon leurs besoins.

Cas d'utilisation de Paper2Poster

  • Conférences académiques : aide les chercheurs à transformer rapidement leurs articles en affiches pour les présentations lors de conférences.

  • Présentations académiques : sert de support aux présentations académiques, aidant le public à mieux comprendre le contenu de la recherche.

  • Présentation de résultats de recherche : présente les derniers résultats de recherche dans les institutions de recherche ou les laboratoires.

  • Domaine de l'éducation : les enseignants peuvent générer des affiches pédagogiques pour aider les élèves à comprendre plus intuitivement des concepts académiques complexes.

Ressources du projet

Site officiel du projet :https://paper2poster.github.io/

Dépôt GitHub :https://github.com/Paper2Poster/Paper2Poster

Bibliothèque de modèles HuggingFace :https://huggingface.co/datasets/Paper2Poster/Paper2Poster

Article technique arXiv :https://arxiv.org/pdf/2505.21497