Microsoft, 두 개의 신규 모델 출시: Phi-4-Multimodal 및 Phi-4-Mini 189

마이크로소프트가 최근 두 가지 새 모델을 출시했는데, 각각 Phi-4-Multimodal과 Phi-4-Mini입니다.

이 두 모델은 비교적 작은 크기로 설계되었지만, 그 기능을 가볍게 볼 수 없습니다. Phi-4-Multimodal은 마이크로소프트의 첫 번째 멀티모달 모델로, 음성, 시각, 텍스트 처리 기능을 통합할 수 있으며, 매개변수 수는 56억 개입니다. Phi-4-Mini는 텍스트 작업에 특화되어 있으며, 매개변수 수는 38억 개입니다. 이 두 모델은 모두 기기 단 및 엣지 컴퓨팅 플랫폼에서의 성능 최적화를 중점적으로 다루어, 컴퓨팅 비용과 지연 시간을 효과적으로 줄일 수 있습니다.

Phi-4-Multimodal

Phi-4-Multimodal이란 무엇인가요?

Phi-4-Multimodal은 매개변수가 56억 개인 멀티모달 모델로, 주로 텍스트, 시각, 음성/오디오 데이터를 처리합니다. LoRA(Low-Rank Adaptation)라는 혁신적인 기술과 특정 모달리티별 라우터를 결합하여, 모델의 전체 규모를 확장하지 않고도 여러 모달리티의 데이터를 효과적으로 처리하고 추론할 수 있습니다.

기술 특징

Phi-4-Multimodal은 SigLIP-400M 이미지 인코더와 MLP 프로젝터를 사용하여 시각 정보를 텍스트의 표현 공간과 정렬할 수 있습니다. 또한 동적 다중 자르기 전략을 채택하여 모든 해상도의 이미지를 잘 처리할 수 있습니다. 음성 관련 작업에서 음성/오디오 모달리티의 LoRA 컴포넌트 규모는 크지 않지만, OpenASR 리더보드에서 단어 오류율(WER)이 6.14%에 달해 1위를 차지했으며, 이는 자동 음성 인식에서 매우 뛰어난 성능을 보여줍니다.

기능 특징

• 멀티모달 처리 능력: Phi-4-Multimodal은 마이크로소프트의 음성, 시각, 텍스트 처리를 통합한 최초의 통합 아키텍처 멀티모달 언어 모델이며, 매개변수 수는 56억 개입니다. 텍스트, 이미지, 음성 등 다양한 유형의 데이터를 처리할 수 있으며, 이처럼 서로 다른 모달리티의 정보를 융합하여 그 연관 정보를挖掘(추출)할 수 있습니다.

• 음성 처리: 자동 음성 인식(ASR) 및 음성 번역(ST) 측면에서 Phi-4-Multimodal은 WhisperV3 및 SeamlessM4T-v2-Large와 같은 전문 음성 모델을 능가하는 뛰어난 성능을 보입니다.

• 시각 처리: 문서 이해, 차트 이해, 광학 문자 인식(OCR), 시각 과학 추론 등의 작업에서 Phi-4-Multimodal은 Gemini-2-Flash-lite-preview 및 Claude-3.5-Sonnet과 같은 인기 모델과 필적하거나 이를 능가합니다.

• 텍스트 처리: 텍스트 추론, 수학 계산, 프로그래밍, 명령어 준수, 함수 호출 등의 작업에서 Phi-4-Multimodal은 뛰어난 성능을 보입니다.

응용 분야

Phi-4-Multimodal은 시각 및 음성 작업에서 뛰어난 성능을 보일 뿐만 아니라, 음성 질의응답, 문서 이해, 광학 문자 인식, 과학 추론 등에서도 충분한 경쟁력을 가지고 있습니다. 다만 일부 지식 집약적인 질의응답에서는 더 큰 규모의 모델에 비해 약간 부족할 수 있습니다.

• 스마트 어시스턴트 분야: 스마트 홈 제어 측면에서 Phi-4-Multimodal은 사용자의 음성 명령과 실내 카메라로 촬영된 화면을 바탕으로 더 정확하게 작업을 수행할 수 있습니다.

• 교육 분야: 온라인 교육의 멀티미디어 학습 자료에서 Phi-4-Multimodal은 동영상 속 이미지와 해설 오디오에 해당하는 텍스트 등을 분석하여 학생들에게 보다 포괄적인 학습 지원을 제공할 수 있습니다.

Phi-4-Mini

Phi-4-Mini란 무엇인가요?

Phi-4-Mini는 텍스트 작업만을 위해 설계된 매개변수 38억 개의 효율적인 모델입니다. 언어 이해 및 생성 작업에서 그 매개변수 규모에서 예상되는 것보다 훨씬 뛰어난 성능을 보이며, 일부 측면에서는 더 큰 모델과 비교해도 손색이 없습니다.

기술 특징

Phi-4-Mini는 32층 Transformer 구조를 채택하고, 은닉 상태 크기를 3,072로 설정했으며, Group Query Attention(GQA) 메커니즘을 도입하여 긴 컨텍스트 정보를 더 잘 처리할 수 있게 했습니다. 또한 분수형 RoPE 차원의 활용으로 긴 시퀀스 처리 시 효율성을 높였습니다.

기능 특징

경량화 설계: Phi-4-Mini 모델은 텍스트 작업에 특화되어 있으며, 매개변수 수는 38억 개입니다. 그룹 쿼리 어텐션 메커니즘(GQA)과 입력/출력 임베딩 바인딩 기술을 채택하여 긴 컨텍스트 생성 시 자원 활용을 최적화했습니다.

효율적인 텍스트 처리: 텍스트 추론, 수학 계산, 프로그래밍, 명령어 준수, 함수 호출 등의 작업에서 Phi-4-Mini는 뛰어난 성능을 보이며, 여러 인기 대형 언어 모델을 능가합니다.

응용 시나리오

모바일 애플리케이션: 모바일 앱에서 Phi-4-Mini는 사용자에게 편리한 언어 상호작용 서비스를 제공하여, 관광지 정보, 현지 교통 등에 대한 질문에 빠르게 답변할 수 있습니다.

사물인터넷 기기: 스마트 스피커와 같은 사물인터넷 기기의 경우, Phi-4-Mini는 로컬 기기에서 간단한 음성 상호작용 처리를 수행하여 클라우드에 대한 의존도를 줄이고, 응답 속도를 높이며, 사용자 개인정보를 보호할 수 있습니다.

성능

Phi-4-Mini는 규모가 크지 않지만, 추론, 수학, 프로그래밍 등의 작업에서同类(同类)의 대형 모델보다 더 나은 성능을 보여, 특정 작업에서의 높은 효율성과 정확성을 충분히 입증했습니다.

모델 다운로드:https://huggingface.co/collections/microsoft/phi-4-677e9380e514feb5577a40e4