Ovis: 알리바바 인터내셔널이 발표한 최신 오픈소스 멀티모달 모델 233

小编 · 2024-09-20

알리바바 인터내셔널이 2024년 9월 19일 최신 멀티모달 대형 모델 Ovis를 발표했습니다. Ovis는 여러 분야에서 뛰어난 성능을 보여주며, 특히 수학적 추론 질의응답, 물체 인식, 텍스트 추출, 복잡한 작업 의사결정 등에서 두각을 나타냅니다.

Ovis: 알리바바 인터내셔널이 발표한 최신 오픈소스 멀티모달 모델

알리 인터네셔널(阿里国际)은 2024년 9월 19일 최신 멀티모달 대형 모델 Ovis를 발표했습니다. Ovis 모델은 여러 분야에서 뛰어난 능력을 보여주었으며, 특히 수학 추론 질의응답, 객체 인식, 텍스트 추출 및 복잡한 작업 의사 결정 등에서 두각을 나타냈습니다.

알리 인터네셔널이 발표한 최신 오픈소스 멀티모달 모델

멀티모달 평가 플랫폼 OpenCompass의 데이터에 따르면, Ovis1.6-Gemma2-9B 버전은 OpenCompass라는 권위 있는 종합 평가 벤치마크에서 Qwen2VL-7B, InternVL2-26B, MiniCPM-V-2.6을 포함한 여러 유명 오픈소스 모델을 능가하여 300억 파라미터 이하의 오픈소스 모델 중 1위를 차지했습니다. 특히 Ovis는 일부 작업에서 폐쇄형 대형 모델인 GPT-4o-mini보다 뛰어난 성능을 보이기도 했습니다.

Ovis의 핵심 능력:

멀티모달 작업 처리: Ovis는 시각 지각 추론, 수학 및 과학 이해, 생활 시나리오 분석 등 멀티모달 작업을 훌륭하게 수행할 수 있습니다. 복잡한 수학 개념 이해를 보조할 뿐만 아니라, 재무제표 분석을 돕고, 이미지를 기반으로 요리 과정(예: 피시 앤 칩스 만들기)을 안내하는 것도 가능합니다.
기술적 세부 사항: Ovis의 설계 하이라이트는 시각 및 텍스트 임베딩을 구조적으로 정렬하는 방식에 있으며, 학습 가능한 시각 임베딩 테이블을 도입하여 연속적인 시각 특징을 확률화된 토큰으로 변환한 후 구조화된 시각 임베딩을 생성함으로써, 전통적인 멀티모달 모델에서 시각과 텍스트 정보 융합의 한계를 극복했습니다.
성능 및 장점: Ovis는 수학 추론 및 시각 이해 등 작업에서出色的인 점수를 보였으며, 일부 더 많은 파라미터 수를 가진 모델과 비교해도 손색이 없습니다. 환각 현상 및 오류율 측면에서도 동일 등급의 모델보다 우수하여 높은 텍스트 품질과 정확도를 보장합니다.
오픈소스 및 상업적 친화성: Apache 2.0 오픈소스 라이선스를 따르는 Ovis는 오픈소스로 공개되어 상업적 활용에 매우 친화적이며, 더 광범위한 응용과 2차 개발을 장려합니다.
아키텍처 혁신: Ovis는 동적 서브그래프 방식을 포함한 혁신적인 아키텍처 설계를 통해 극단적인 종횡비 및 고해상도 이미지 처리를 지원하며, Caption, VQA, OCR, Table, Chart 등 다양한 멀티모달 데이터 방향을 포괄하는 종합적인 데이터 최적화 전략을 통해 멀티모달 작업의 종합적인 성능을 향상시켰습니다.

Ovis 응용 사례:

이미지 인식 및 처리: Ovis는 손으로 쓴 내용을 정확하게 인식하고 번역할 수 있으며, 복잡한 수학 공식도 처리할 수 있습니다. 예를 들어 이미지 인식을 통해 자세한 요리 레시피 제작 단계를 제공하는 식입니다.
자율주행: 카메라, 레이더 및 라이다 데이터 통합.
의료 진단: 이미지 분석 및 진단 지원에 사용됩니다.
비디오 콘텐츠 이해: 비디오 콘텐츠 분석 및 생성.
이미지 설명 생성: 이미지 설명 자동 생성.
시각적 질의응답: 다국어 텍스트 추출 및 질의응답 지원.

Ovis 오픈소스 정보: