Microsoft stellt zwei neue Modelle vor: Phi-4-Multimodal und Phi-4-Mini 187

Microsoft hat kürzlich zwei neue Modelle vorgestellt, nämlich Phi-4-Multimodal und Phi-4-Mini.

Diese beiden Modelle sind zwar recht kompakt designt, aber ihre Funktionen sind nicht zu unterschätzen. Phi-4-Multimodal ist Microsofts erstes multimodales Modell, das Funktionen wie Sprach-, Bild- und Textverarbeitung integriert und über 5,6 Milliarden Parameter verfügt. Phi-4-Mini konzentriert sich hingegen auf Textaufgaben und hat 380 Millionen Parameter. Beide Modelle sind speziell für eine optimierte Leistung auf Geräten sowie Edge-Computing-Plattformen ausgelegt und können so die Rechenkosten und Latenz effektiv reduzieren.

Phi-4-Multimodal

Was ist Phi-4-Multimodal?

Phi-4-Multimodal ist ein multimodales Modell mit 560 Millionen Parametern, das hauptsächlich für die Verarbeitung von Text-, Bild- sowie Sprach-/Audiodaten zuständig ist. Es nutzt eine innovative Technik namens LoRA (Low-Rank Adaptation) in Kombination mit einem modusspezifischen Router, wodurch es Daten verschiedener Modalitäten gut verarbeiten und Schlussfolgerungen ziehen kann, ohne die Gesamtgröße des Modells zu erweitern.

Technische Merkmale

Phi-4-Multimodal verwendet den SigLIP-400M-Bildencoder und einen MLP-Projektor, der es ermöglicht, visuelle Informationen mit dem Textrepräsentationsraum abzugleichen. Darüber hinaus verfügt es über eine dynamische Mehrfach-Crop-Strategie, die unabhängig von der Bildauflösung eine gute Verarbeitung gewährleistet. Bei sprachbezogenen Aufgaben erreicht es im OpenASR-Ranking eine Wortfehlerrate (WER) von 6,14 % und belegt damit den ersten Platz, obwohl die LoRA-Komponente für die Sprach-/Audiomodalität relativ klein ist – ein Beleg für seine hervorragende Leistung bei der automatischen Spracherkennung.

Funktionsmerkmale

• Multimodale Verarbeitungsfähigkeit: Phi-4-Multimodal ist Microsofts erstes einheitliches multimodales Sprachmodell, das Sprach-, Bild- und Textverarbeitung integriert und über 5,6 Milliarden Parameter verfügt. Es kann verschiedene Datentypen wie Text, Bilder und Sprache verarbeiten und Informationen aus diesen unterschiedlichen Modalitäten verschmelzen, um die Zusammenhänge zwischen ihnen zu erschließen.

• Sprachverarbeitung: In den Bereichen automatische Spracherkennung (ASR) und Sprachübersetzung (ST) übertrifft Phi-4-Multimodal spezialisierte Sprachmodelle wie WhisperV3 und SeamlessM4T-v2-Large und liefert eine hervorragende Leistung.

• Bildverarbeitung: Bei Aufgaben wie Dokumentenverständnis, Diagrammverständnis, optischer Zeichenerkennung (OCR) und visuellem wissenschaftlichem Reasoning ist Phi-4-Multimodal mit beliebten Modellen wie Gemini-2-Flash-lite-preview und Claude-3.5-Sonnet vergleichbar oder übertrifft diese sogar.

• Textverarbeitung: Bei Aufgaben wie Text-Reasoning, mathematischen Berechnungen, Programmierung, Befolgung von Anweisungen und Funktionsaufrufen zeigt Phi-4-Multimodal eine starke Leistung.

Anwendungsbereiche

Phi-4-Multimodal zeigt nicht nur bei Bild- und Sprachaufgaben eine hervorragende Leistung, sondern ist auch in den Bereichen Sprachfragen und -antworten, Dokumentenverständnis, optische Zeichenerkennung sowie wissenschaftliches Reasoning sehr wettbewerbsfähig. Bei einigen wissensintensiven Frage-Antwort-Aufgaben könnte es im Vergleich zu größeren Modellen allerdings etwas schwächer abschneiden.

• Bereich intelligente Assistenten: Bei der Smart-Home-Steuerung kann Phi-4-Multimodal auf Basis von Sprachbefehlen des Nutzers und Bildern der Innenraumkamera Aufgaben präziser ausführen.

• Bildungsbereich: Für multimediale Lernmaterialien im Online-Bildungsbereich kann Phi-4-Multimodal Bilder in Videos, Texte zu Erklär-Audioinhalten usw. analysieren und so den Schülern umfassendere Lernhilfen bieten.

Phi-4-Mini

Was ist Phi-4-Mini?

Phi-4-Mini ist ein effizientes Modell, das speziell für Textaufgaben entwickelt wurde und 380 Millionen Parameter besitzt. Seine Leistung bei Sprachverständnis- und Generierungsaufgaben übertrifft die Erwartungen, die man angesichts seiner Parametergröße hätte, und ist in mancher Hinsicht sogar mit größeren Modellen vergleichbar.

Technische Merkmale

Phi-4-Mini verwendet eine Transformer-Struktur mit 32 Schichten, eine Hidden-State-Größe von 3.072 und führt den Group Query Attention (GQA)-Mechanismus ein, wodurch es Informationen mit langem Kontext besser verarbeiten kann. Darüber hinaus ermöglicht die Verwendung von fractional RoPE-Dimensionen eine höhere Effizienz bei der Verarbeitung langer Sequenzen.

Funktionsmerkmale

Leichtgewichtiges Design: Das Phi-4-Mini-Modell konzentriert sich auf Textaufgaben und hat eine Parameteranzahl von 3,8 Milliarden. Es nutzt den Grouped Query Attention-Mechanismus (GQA) sowie Input-/Output-Embedding-Tying, um die Ressourcennutzung bei der Generierung mit langem Kontext zu optimieren.

Effiziente Textverarbeitung: Bei Aufgaben wie Text-Reasoning, mathematischen Berechnungen, Programmierung, Befolgung von Anweisungen und Funktionsaufrufen zeigt Phi-4-Mini eine hervorragende Leistung und übertrifft mehrere beliebte große Sprachmodelle.

Anwendungsszenarien

Mobile Anwendungen: In mobilen Apps kann Phi-4-Mini den Nutzern einen bequemen Sprachinteraktionsservice bieten und schnell Fragen zu Sehenswürdigkeiten, lokalem Verkehr usw. beantworten.

IoT-Geräte: Für IoT-Geräte wie intelligente Lautsprecher kann Phi-4-Mini einfache Sprachinteraktionen lokal auf dem Gerät verarbeiten, wodurch die Abhängigkeit von der Cloud reduziert, die Reaktionsgeschwindigkeit erhöht und die Privatsphäre der Nutzer geschützt werden.

Leistung

Obwohl Phi-4-Mini nur eine geringe Größe aufweist, übertrifft es bei Aufgaben wie Reasoning, Mathematik und Programmierung ähnlich große Modelle und beweist damit eindrucksvoll seine Effizienz und Genauigkeit bei bestimmten Aufgaben.

Modelldownload:https://huggingface.co/collections/microsoft/phi-4-677e9380e514feb5577a40e4