PaliGemma : le modèle vision-langage open source de Google 202

PaliGemma est un modèle vision-langage (VLM) doté de capacités multimodales, développé et publié par Google. Contrairement aux autres VLM (comme le GPT-4o d'Openai, Google Gemini et Claude 3 d'Anthropic), PaliGemma offre un large éventail de fonctionnalités et peut être affiné sur des tâches spécifiques pour obtenir de meilleures performances.

Lancé lors de l'événement Google I/O 2024 aux côtés d'autres produits, PaliGemma est un modèle multimodal issu de la combinaison de deux autres modèles issus de la recherche Google : SigLIP (modèle visuel) et Gemma (grand modèle de langage), ce qui signifie que le modèle est composé d'un décodeur Transformer et d'un encodeur d'images Vision Transformer. Il prend en entrée des images et du texte et génère du texte en sortie, et prend en charge plusieurs langues.

Que peut faire PaliGemma ?

PaliGemma est un modèle vision-langage à tour unique qui donne les meilleurs résultats lorsqu'il est affiné pour un cas d'utilisation spécifique. Cela signifie que vous pouvez saisir une image et une chaîne de texte, par exemple une consigne ou une question demandant de légender une image, et PaliGemma produira en sortie du texte en réponse à cette entrée, par exemple une légende d'image, la réponse à une question ou la liste des coordonnées des boîtes englobantes des objets.

PaliGemma est adapté à l'exécution de tâches liées aux résultats des benchmarks suivants publiés par Google :

• Réglage fin sur une seule tâche

• Réponse à des questions et sous-titrage d'images

• Réponse à des questions et sous-titrage de vidéos

• Segmentation

Cela signifie que PaliGemma est très utile pour les questions simples et concrètes liées à des données visuelles.

Nous avons créé un tableau montrant les résultats de PaliGemma par rapport à d'autres modèles, sur la base des résultats rapportés sur des benchmarks courants.

Bien que les benchmarks constituent des points de données utiles, ils ne racontent pas toute l'histoire. PaliGemma est conçu pour être affiné, tandis que d'autres modèles sont à source fermée. Afin de montrer les options disponibles, nous le comparons à d'autres modèles qui ne peuvent pas être affinés (et qui sont généralement plus grands).

Il vaut la peine de faire des essais pour voir si l'ajustement fin avec des données personnalisées apporte de meilleures performances pour votre cas d'utilisation spécifique que les performances prêtes à l'emploi d'autres modèles.

Plus loin dans cet article, nous comparerons PaliGemma à d'autres VLM et LMM open source à l'aide d'une batterie de tests standard. Continuez à lire pour découvrir ses performances.

Comment affiner PaliGemma

L'un des aspects passionnants de PaliGemma est sa capacité à être affiné sur des données correspondant à un cas d'utilisation personnalisé. L'équipe Google PaliGemma a publié des notebooks montrant comment effectuer un réglage fin sur de petits jeux de données.

Il convient de noter que, dans cet exemple, seules les couches d'attention ont été affinées, de sorte que les améliorations de performances peuvent être limitées.

Applications de PaliGemma

Que vous utilisiez PaliGemma sans entraînement préalable (zero-shot) ou que vous l'affiniez sur des données personnalisées, il existe des cas d'utilisation spécifiques adaptés aux avantages de PaliGemma, ce qui ouvrira la voie à de nouveaux cas d'usage de l'IA. Examinons-en deux.

Applications personnalisées

Des modèles comme Claude 3, Gemini 1.5 Pro et GPT-4o peuvent être utilisés tels quels et appliqués aux problèmes qu'ils sont capables de résoudre. PaliGemmi apporte des capacités multimodales à des cas d'utilisation que les modèles à source fermée ne peuvent toujours pas résoudre, car vous pouvez affiner PaliGemma à l'aide de données propriétaires liées à votre problème. Cela est très utile dans des secteurs tels que la fabrication, les biens de consommation, la santé et la sécurité. Si vous rencontrez un problème inédit que les modèles fermés n'ont jamais vu – et ne verront jamais en raison de leur nature propriétaire – PaliGemma est un excellent point de départ pour construire une solution d'IA sur mesure.

OCR

Comme illustré plus tôt dans cet article, PaliGemma est un puissant modèle d'OCR sans aucun réglage fin supplémentaire. Lors de la construction d'une application d'OCR destinée à passer à l'échelle pour atteindre des milliards de prédictions, il peut être difficile de trouver le bon équilibre entre latence, coût et précision. Avant PaliGemma, les modèles à source fermée constituaient le choix offrant les meilleures performances de leur catégorie, mais leur coût et l'absence de propriété du modèle rendaient difficile leur justification en production. Ce modèle peut fournir des performances immédiates et s'améliorer au fil du temps grâce à un réglage fin sur des données spécifiques.