PaliGemma 2 Mix: 이미지 캡션, OCR, VQA, 객체 탐지, 세분화를 하나로 묶은 오픈소스 비전-언어 모델 193

Google이 PaliGemma 2 Mix를 공개했습니다. 이는 이미지 설명, OCR, 질의응답, 객체 감지 및 분할을 하나로 통합한 오픈소스 비전-언어 모델입니다. 다중 작업 처리 능력과 유연한 모델 선택을 통해 비전-언어 작업의 발전을 추진하는 것이 목적입니다. PaliGemma 2 Mix 모델은 다양한 입력 해상도 지원을 결합하고 편리한 미세 조정 옵션을 제공하여 다양한 실제 시나리오에서 적용하기에 적합합니다.

PaliGemma 2 Mix 기능 특징

• 멀티모달 처리 능력: PaliGemma 2 Mix는 짧은 텍스트 및 긴 텍스트 설명, 광학 문자 인식(OCR), 이미지 질의응답, 객체 감지 및 이미지 분할 등 다양한 작업을 처리할 수 있습니다.

• 모델 규모와 해상도의 유연성: 3B, 10B 및 28B 매개변수의 다양한 모델 규모와 224px 및 448px 해상도 선택을 제공하여 다양한 작업 요구 사항을 충족합니다.

• 개발자 친화적: Hugging Face Transformers, Keras, PyTorch, JAX 및 Gemma.cpp와 같은 주요 프레임워크와 호환되어 개발자가 쉽게 사용하고 미세 조정할 수 있습니다.

• 직접 적용 가능성: 사용자는 복잡한 미세 조정 과정 없이 모델을 바로 작업에 활용할 수 있어 "바로 사용 가능한" 편의성을 구현합니다.

• 크로스 모달 특징 융합: SigLIP 이미지 인코더와 Gemma-2B 언어 모델을 결합하고 선형 투영 계층을 통해 이미지와 텍스트 특징의 효과적인 융합을 구현하여 모델의 멀티모달 이해 능력을 향상시켰습니다.

PaliGemma 2 Mix 적용 시나리오

• 이미지 인식 및 설명: 이미지에 대한 자세한 설명을 자동으로 생성하여 소셜 미디어, 콘텐츠 관리 및 검색 엔진 최적화에 적합합니다.

• 시각적 질의응답(VQA): 교육 및 엔터테인먼트 애플리케이션에서 이미지에 대한 사용자의 질문에 답합니다.

• 광학 문자 인식(OCR): 이미지의 텍스트를 인식하여 문서 디지털화, 역사 문헌 보관 및 자동 데이터 추출에 사용됩니다.

• 과학 문제 해결: 과학 분야에서 PaliGemma 2 Mix는 복잡한 과학 문제를 이해하고 답변할 수 있습니다.

• 텍스트 관련 작업: 텍스트 감지, 인식, 테이블 구조 인식, 분자 구조 인식, 악보 인식 등을 포함합니다.

• 전자상거래 및 콘텐츠 생성: 상품 이미지에 대한 설명을 자동으로 생성하여 제품 목록의 매력을 높입니다.
  

PaliGemma 2 Mix 사용 방법

• 종속성 설치: 먼저 transformers 라이브러리의 4.47 이상 버전을 설치해야 합니다.

• 모델 로드: AutoProcessor 및 PaliGemmaForConditionalGeneration 클래스를 사용하여 사전 학습된 모델을 로드합니다.

• 이미지 처리: PIL 라이브러리를 사용하여 이미지를 로드하고 처리합니다.

• 추론: 이미지와 텍스트 프롬프트를 모델에 입력하여 출력 결과를 얻습니다.

PaliGemma 2 Mix가 공개되면 개발자에게 강력하고 유연한 도구가 되어 많은 비전-언어 작업에서 뛰어난 성능을 보일 것입니다. 이미지 인식, 이미지 설명 생성, 과학 문제 답변 등 다양한 분야에서 큰 응용 잠재력과 실용성을 갖추고 있습니다.

Hugging Face 데모:https://huggingface.co/spaces/google/paligemma2-10b-mix

기술 논문 보고서:https://arxiv.org/abs/2412.03555