Gemma 2 대비 Gemma 3의 개선점은 무엇인가? 192

방금 구글에서 Gemma 3가 출시되었습니다. 1B, 4B, 12B, 27B 네 가지 파라미터로 구성되며, 단일 GPU/TPU에서도 실행 가능합니다! 특히 Gemma 3는 27B만으로도 DeepSeek 671B 모델을 능가하여, DeepSeek R1에 이어 두 번째로 뛰어난 오픈소스 모델로 자리매김했습니다. Gemma 2와 비교했을 때, Gemma 3는 다음과 같은 측면에서 개선되었습니다:

멀티모달 기능

Gemma 3는 텍스트, 이미지, 짧은 영상의 혼합 입력을 지원하며, 이미지 질의응답, 영상 콘텐츠 분석 등 복잡한 멀티모달 작업을 처리할 수 있습니다. 반면 Gemma 2는 주로 텍스트 처리에 집중했습니다.

성능 향상

Gemma 3는 "전 세계에서 가장 강력한 단일 액셀러레이터 모델"이라 불리며, 단일 GPU 또는 TPU 환경에서 Gemma 2보다 현저히 뛰어난 성능을 보이며, 짧은 영상 콘텐츠 처리 시 추론 속도가 47% 향상되었습니다.

언어 지원 강화

Gemma 3는 140개 이상의 언어로 사전 학습되었으며, 35개 이상의 언어를 직접 지원합니다. 반면 Gemma 2의 언어 지원 범위는 더 좁았습니다.

컨텍스트 윈도우 확장

Gemma 3의 컨텍스트 윈도우는 128k 토큰으로 확장되어, 30장의 고해상도 이미지나 1시간 분량의 영상 콘텐츠 등 더 많은 양의 정보를 처리할 수 있습니다. 이는 Gemma 2의 컨텍스트 윈도우에 비해 현저한 향상을 보여줍니다.

시각 처리 능력

Gemma 3는 동적 이미지 슬라이싱 기술과 프레임 샘플링 및 옵티컬 플로우 분석 결합 방식을 도입하여, 고해상도 및 비정사각형 이미지를 지원하며, 20초 내에 1시간 영상의 키프레임을 추출할 수 있습니다. 반면 Gemma 2는 시각 처리 능력이 약했습니다.

안전성 강화

Gemma 3는 ShieldGemma 2 이미지 안전 분류기를 탑재하여, 위험 콘텐츠, 음란물, 폭력 콘텐츠를 탐지하고 표시할 수 있어 모델의 안전성을 한층 더 강화했습니다.

하드웨어 최적화

Gemma 3는 Nvidia GPU와 Google Cloud TPU에 대해 깊이 있는 최적화를 진행하여, 다양한 하드웨어 플랫폼에서 효율적으로 작동하도록 보장합니다. 또한 Vertex AI, Cloud Run, 로컬 환경을 포함한 다양한 배포 옵션을 지원합니다.

훈련 및 파인튜닝 개선

Gemma 3는 지식 증류, 강화 학습(인간 피드백 및 기계 피드백 포함), 모델 병합 등의 기술을 활용하여 수학, 코딩, 명령어 따르기 능력을 향상시켰습니다. 동시에 개발자가 필요에 따라 맞춤 설정할 수 있는 보다 유연한 파인튜닝 도구를 제공합니다.

커뮤니티 및 생태계 확장

Gemma 3의 출시로 "Gemmaverse" 생태계가 더욱 풍부해졌으며, 개발자는 그 강력한 기능을 바탕으로 더 많은 혁신적인 애플리케이션을 개발할 수 있습니다.

종합적으로, Gemma 3는 멀티모달 처리, 성능, 언어 지원, 시각 처리, 안전성 등 여러 측면에서明显的한 향상을 이루어, 다양한 디바이스에 배포하고 사용하기에 더욱 적합한 강력한 AI 모델이 되었습니다.