PaliGemma: el modelo de visión-lenguaje de código abierto de Google 196

PaliGemma es un modelo de lenguaje visual (VLM) con capacidades multimodales desarrollado y publicado por Google. A diferencia de otros VLM (como GPT-4o de Openai, Google Gemini y Claude 3 de Anthropic), PaliGemma tiene una amplia funcionalidad y puede ajustarse en tareas específicas para obtener un mejor rendimiento.

PaliGemma, presentado junto con otros productos en el evento Google I/O 2024, es un modelo multimodal basado en la combinación de otros dos modelos de Google Research: SigLIP (modelo de visión) y Gemma (modelo de lenguaje grande), lo que significa que el modelo es una combinación de un decodificador Transformer y un codificador de imágenes Vision Transformer. Toma imágenes y texto como entrada y genera texto como salida, compatible con varios idiomas.

¿Qué puede hacer PaliGemma?

PaliGemma es un modelo de lenguaje visual de una sola vuelta que funciona mejor cuando se ajusta a un caso de uso específico. Esto significa que puede introducir una imagen y una cadena de texto, como un提示 o una pregunta que añada un título a la imagen, y PaliGemma generará texto como respuesta a la entrada, por ejemplo, el título de la imagen, la respuesta a una pregunta o una lista de coordenadas de cuadros delimitadores de objetos.

PaliGemma es adecuado para realizar tareas relacionadas con los siguientes resultados de pruebas de referencia publicadas por Google:

• Ajuste fino en una sola tarea

• Respuesta a preguntas y subtítulos de imágenes

• Respuesta a preguntas y subtítulos de vídeos

• Segmentación

Esto significa que PaliGemma es muy útil para preguntas sencillas y concretas relacionadas con datos visuales.

Hemos creado una tabla que muestra los resultados de PaliGemma en comparación con otros modelos basándose en los resultados de pruebas de referencia comunes.

Aunque los benchmarks son puntos de datos útiles, no cuentan toda la historia. PaliGemma está diseñado para ser ajustado, mientras que otros modelos son de código cerrado. Para mostrar qué opciones hay disponibles, lo comparamos con otros modelos que no se pueden ajustar (y que suelen ser más grandes).

Merece la pena experimentar para ver si el ajuste fino con datos personalizados ofrece un mejor rendimiento para su caso de uso específico que el rendimiento listo para usar de otros modelos.

Más adelante en este artículo, compararemos PaliGemma con otros VLM y LMM de código abierto utilizando un conjunto de pruebas estándar. Continúe leyendo para conocer su rendimiento.

Cómo ajustar PaliGemma

Uno de los aspectos más interesantes de PaliGemma es su capacidad para ser ajustado con datos de casos de uso personalizados. Los notebooks publicados por el equipo de Google PaliGemma muestran cómo realizar el ajuste fino en conjuntos de datos pequeños.

Es importante tener en cuenta que, en este ejemplo, solo se ajustaron las capas de atención, por lo que las mejoras de rendimiento pueden ser limitadas.

Aplicaciones de PaliGemma

Tanto si utiliza PaliGemma de manera zero-shot como si lo ajusta con datos personalizados, hay casos de uso específicos adaptados a las ventajas de PaliGemma que abrirán las puertas a nuevos casos de uso de IA. Veamos dos de ellos.

Aplicaciones personalizadas

Modelos como Claude 3, Gemini 1.5 Pro y GPT-4o pueden utilizarse tal cual y aplicarse a los problemas para los que son adecuados. PaliGemmi lleva las capacidades multimodales a casos de uso que los modelos de código cerrado aún no pueden resolver, ya que puede ajustar PaliGemma con datos propietarios relacionados con su problema. Esto resulta muy útil en sectores como la fabricación, bienes de consumo, sanidad y seguridad. Si se encuentra con un problema único que los modelos cerrados no han visto y, por su naturaleza propietaria, nunca verán, PaliGemma es un excelente punto de partida para construir soluciones de IA personalizadas.

OCR

Como se mostró anteriormente en este artículo, PaliGemma es un potente modelo de OCR sin necesidad de ningún ajuste fino adicional. Al construir aplicaciones de OCR para escalar a miles de millones de predicciones, puede resultar difícil equilibrar la latencia, el coste y la precisión. Antes de PaliGemma, los modelos de código cerrado eran la opción con mejor rendimiento de su clase, pero su coste y la falta de propiedad del modelo dificultaban su justificación en producción. Este modelo puede ofrecer un rendimiento inmediato y mejorar con el tiempo mediante el ajuste fino con datos específicos.