PaliGemma: Google의 오픈소스 비전-언어 모델 200

PaliGemma는 Google이 개발하고 출시한 멀티모달 기능을 갖춘 비전 언어 모델(VLM)입니다. OpenAI의 GPT-4o, Google Gemini, Anthropic의 Claude 3 등 다른 VLM과 달리, PaliGemma는 광범위한 기능을 갖추고 있으며 특정 작업에 맞춰 미세 조정하여 더 나은 성능을 얻을 수 있습니다.

PaliGemma는 2024년 Google I/O 행사에서 다른 제품과 함께 출시되었으며, Google Research의 다른 두 모델인 SigLIP(비전 모델)와 Gemma(대형 언어 모델)을 결합한 멀티모달 모델입니다. 이는 해당 모델이 Transformer 디코더와 Vision Transformer 이미지 인코더를 결합한 모델임을 의미합니다. 이미지와 텍스트를 입력으로 받아 텍스트를 출력으로 생성하며, 여러 언어를 지원합니다.

PaliGemma는 무엇을 할 수 있나요?

PaliGemma는 단일 턴 비전 언어 모델로, 특정 사용 사례에 맞춰 미세 조정할 때 가장 효과적입니다. 이는 이미지와 텍스트 문자열(예: 이미지에 캡션을 추가하기 위한 프롬프트나 질문)을 입력할 수 있으며, PaliGemma는 이미지의 캡션, 질문에 대한 답변 또는 객체 경계 상자 좌표 목록 등 입력에 대한 응답으로 텍스트를 출력한다는 의미입니다.

PaliGemma는 Google이 발표한 다음 작업 벤치마크 테스트 결과와 관련된 작업을 수행하는 데 적합합니다.

• 단일 작업에 대한 미세 조정

• 이미지 질문 응답 및 캡션

• 비디오 질문 응답 및 캡션

• 분할(Segmentation)

이는 PaliGemma가 시각 데이터와 관련된 간단하고 구체적인 문제에 매우 유용하다는 것을 의미합니다.

일반적인 벤치마크에서 보고된 결과를 바탕으로 PaliGemma가 다른 모델에 비해 어떤 성과를 보이는지 보여주는 표를 만들었습니다.

벤치마크는 유용한 데이터 포인트이지만, 모든 것을 알려주지는 않습니다. PaliGemma는 미세 조정용으로 설계되었으며, 다른 모델은 폐쇄형 소스입니다. 어떤 옵션을 사용할 수 있는지 보여주기 위해, 미세 조정이 불가능한 다른 모델(일반적으로 더 큰 모델)과 비교했습니다.

사용자 지정 데이터로 미세 조정했을 때 특정 사용 사례에서 다른 모델의 기본 성능보다 더 나은 성능을 제공하는지 실험해 볼 가치가 있습니다.

이 글의 후반부에서는 표준 테스트 세트를 사용하여 PaliGemma를 다른 오픈 소스 VLM 및 LMM과 비교할 것입니다. 성능을 확인하려면 계속 읽어보세요.

PaliGemma를 어떻게 미세 조정하나요?

PaliGemma의 흥미로운 측면 중 하나는 사용자 지정 사용 사례 데이터에 대해 미세 조정할 수 있다는 것입니다. Google PaliGemma 팀에서 공개한 노트북에서는 소규모 데이터 세트에서 미세 조정하는 방법을 보여줍니다.

이 예제에서는 어텐션 레이어만 미세 조정되었으므로 성능 개선이 제한적일 수 있다는 점에 유의해야 합니다.

PaliGemma 활용 사례

PaliGemma를 제로샷으로 사용하든 사용자 지정 데이터로 미세 조정하든, PaliGemma의 장점에 맞춰 설계된 특정 사용 사례가 있어 새로운 AI 사용 사례의 문을 열어줄 것입니다. 그 중 두 가지를 살펴보겠습니다.

맞춤형 애플리케이션

Claude 3, Gemini 1.5 Pro, GPT-4o 같은 모델은 즉시 사용할 수 있으며 적합한 문제에 적용할 수 있습니다. PaliGemmi는 폐쇄형 소스 모델로는 아직 해결할 수 없는 사용 사례에 멀티모달 기능을 제공합니다. 왜냐하면 문제와 관련된 독점 데이터를 사용하여 PaliGemma를 미세 조정할 수 있기 때문입니다. 이는 제조, 소비재, 헬스케어, 보안等行业에서 매우 유용합니다. 폐쇄형 모델이见过的 독특한 문제를 만나고, 그 proprietary한 특성으로 인해 영원히 접할 수 없는 경우, PaliGemma는 맞춤형 AI 솔루션을 구축하는 훌륭한 시작점이 됩니다.

OCR

이 글의 앞부분에서 살펴본 것처럼, PaliGemma는 추가 미세 조정 없이도 강력한 OCR 모델입니다. 수십억 개의 예측 규모로 확장되는 OCR 애플리케이션을 구축할 때 지연 시간, 비용, 정확도의 균형을 맞추기 어려울 수 있습니다. PaliGemma가 등장하기 전에는 폐쇄형 소스 모델이同类 최선의 성능 선택이었지만, 비용과 모델 소유권 부재 때문에 프로덕션 환경에서 정당화하기 어려웠습니다. 이 모델은 즉각적인 성능을 제공하며, 특정 데이터에 대한 미세 조정을 통해 시간이 지남에 따라 개선될 수 있습니다.