PaliGemma 2 Mix: modelo visión-lenguaje de código abierto para descripción, OCR, VQA, detección y segmentación 195

Google ha publicado PaliGemma 2 Mix, un modelo de lenguaje visual de código abierto que integra descripción de imágenes, OCR, preguntas y respuestas, detección de objetos y segmentación. El objetivo es impulsar el avance de las tareas de lenguaje visual gracias a su capacidad multitarea y a la flexibilidad en la elección del modelo. El modelo PaliGemma 2 Mix combina el soporte para múltiples resoluciones de entrada y ofrece opciones de ajuste fino convenientes, lo que lo hace adecuado para su aplicación en una amplia variedad de escenarios reales.

Características de PaliGemma 2 Mix

• Capacidad de procesamiento multimodal: PaliGemma 2 Mix es capaz de manejar múltiples tareas, incluyendo descripciones de texto corto y largo, reconocimiento óptico de caracteres (OCR), preguntas y respuestas sobre imágenes, detección de objetos y segmentación de imágenes.

• Flexibilidad en el tamaño del modelo y la resolución: ofrece diferentes tamaños de modelo con 3B, 10B y 28B parámetros, así como opciones de resolución de 224px y 448px, para satisfacer las necesidades de distintas tareas.

• Apto para desarrolladores: es compatible con frameworks populares como Hugging Face Transformers, Keras, PyTorch, JAX y Gemma.cpp, lo que facilita su uso y ajuste fino por parte de los desarrolladores.

• Aplicabilidad directa: los usuarios pueden utilizar el modelo directamente para realizar tareas sin necesidad de complejos procesos de ajuste fino, logrando una comodidad "lista para usar".

• Fusión de características cross-modales: combina el codificador de imágenes SigLIP con el modelo de lenguaje Gemma-2B, logrando una fusión eficaz de las características de imagen y texto mediante una capa de proyección lineal, lo que mejora la capacidad de comprensión multimodal del modelo.

Escenarios de aplicación de PaliGemma 2 Mix

• Reconocimiento y descripción de imágenes: genera automáticamente descripciones detalladas de imágenes, aplicable a redes sociales, gestión de contenidos y optimización para motores de búsqueda.

• Preguntas y respuestas visuales (VQA): responde a las preguntas de los usuarios sobre el contenido de las imágenes en aplicaciones educativas y de entretenimiento.

• Reconocimiento óptico de caracteres (OCR): reconoce el texto presente en las imágenes, utilizado para la digitalización de documentos, el archivo de literatura histórica y la extracción automática de datos.

• Resolución de preguntas científicas: en el ámbito científico, PaliGemma 2 Mix es capaz de comprender y responder preguntas científicas complejas.

• Tareas relacionadas con texto: incluye detección de texto, reconocimiento, reconocimiento de estructuras de tablas, reconocimiento de estructuras moleculares, reconocimiento de partituras, entre otras.

• Comercio electrónico y generación de contenidos: genera automáticamente descripciones para imágenes de productos, mejorando el atractivo de los listados de productos.
  

Cómo usar PaliGemma 2 Mix

• Instalar dependencias: en primer lugar, se necesita instalar la versión 4.47 o superior de la biblioteca transformers.

• Cargar el modelo: utilice las clases AutoProcessor y PaliGemmaForConditionalGeneration para cargar el modelo preentrenado.

• Procesamiento de imágenes: utilice la biblioteca PIL para cargar y procesar las imágenes.

• Inferencia: introduzca la imagen y el prompt de texto en el modelo para obtener el resultado.

Tras el lanzamiento de PaliGemma 2 Mix, se convertirá en una potente y flexible herramienta en manos de los desarrolladores, con un excelente rendimiento en numerosas tareas de lenguaje visual. Ya sea para el reconocimiento de imágenes, la generación de descripciones de imágenes o la respuesta a preguntas científicas, posee un gran potencial de aplicación y resulta muy práctico de utilizar.

Demostración en Hugging Face:https://huggingface.co/spaces/google/paligemma2-10b-mix

Informe técnico (artículo):https://arxiv.org/abs/2412.03555