PaliGemma 2 Mix : modèle vision-langage open source pour la légende, l'OCR, le VQA, la détection et la segmentation 200

Google a publié PaliGemma 2 Mix, un modèle de langage visuel open source combinant la description d'images, l'OCR, le question-réponse, la détection d'objets et la segmentation. L'objectif est de faire progresser les tâches de langage visuel grâce à ses capacités multitâches et au choix flexible de modèles. Le modèle PaliGemma 2 Mix prend en charge plusieurs résolutions d'entrée et offre des options de réglage fin pratiques, ce qui le rend adapté à une grande variété de scénarios concrets.

Caractéristiques de PaliGemma 2 Mix

• Capacités de traitement multimodal : PaliGemma 2 Mix peut gérer de nombreuses tâches, notamment les descriptions courtes et longues, la reconnaissance optique de caractères (OCR), le question-réponse sur les images, la détection d'objets et la segmentation d'images.

• Flexibilité en termes de taille de modèle et de résolution : différentes tailles de modèles de 3B, 10B et 28B paramètres sont proposées, ainsi que des choix de résolution de 224px et 448px, pour répondre à différents besoins.

• Convivial pour les développeurs : compatible avec les principaux frameworks tels que Hugging Face Transformers, Keras, PyTorch, JAX et Gemma.cpp, facilitant l'utilisation et le réglage fin par les développeurs.

• Applicabilité directe : les utilisateurs peuvent directement exploiter le modèle pour leurs tâches sans processus de réglage fin complexe, offrant une simplicité « prête à l'emploi ».

• Fusion des caractéristiques intermodales : combinaison de l'encodeur d'images SigLIP et du modèle de langage Gemma-2B, avec une couche de projection linéaire permettant une fusion efficace des caractéristiques d'image et de texte, améliorant la compréhension multimodale du modèle.

Cas d'utilisation de PaliGemma 2 Mix

• Reconnaissance et description d'images : génération automatique de descriptions détaillées d'images, adaptées aux réseaux sociaux, à la gestion de contenu et à l'optimisation pour les moteurs de recherche.

• Question-réponse visuelle (VQA) : dans les applications éducatives et de divertissement, répondre aux questions des utilisateurs sur le contenu des images.

• Reconnaissance optique de caractères (OCR) : reconnaissance de texte dans les images, utilisée pour la numérisation de documents, l'archivage de文献 historiques et l'extraction automatique de données.

• Réponse aux questions scientifiques : dans le domaine scientifique, PaliGemma 2 Mix est capable de comprendre et de répondre à des questions scientifiques complexes.

• Tâches liées au texte : notamment la détection de texte, la reconnaissance, la reconnaissance de structure de tableaux, la reconnaissance de structures moléculaires, la reconnaissance de partitions musicales, etc.

• E-commerce et génération de contenu : génération automatique de descriptions pour les images de produits, renforçant l'attrait des fiches produits.
  

Méthode d'utilisation de PaliGemma 2 Mix

• Installation des dépendances : il faut d'abord installer la bibliothèque transformers en version 4.47 ou supérieure.

• Chargement du modèle : utiliser les classes AutoProcessor et PaliGemmaForConditionalGeneration pour charger le modèle pré-entraîné.

• Traitement d'images : utiliser la bibliothèque PIL pour charger et traiter les images.

• Inférence : fournir l'image et l'invite textuelle au modèle pour obtenir le résultat.

Après sa sortie, PaliGemma 2 Mix deviendra pour les développeurs un outil puissant et flexible, offrant d'excellentes performances dans de nombreuses tâches de langage visuel. Qu'il s'agisse de reconnaître des images, de générer des descriptions d'images ou de répondre à des questions scientifiques, il possède un grand potentiel d'application et s'avère très pratique à utiliser.

Démo Hugging Face :https://huggingface.co/spaces/google/paligemma2-10b-mix

Rapport technique / Article scientifique :https://arxiv.org/abs/2412.03555