Microsoft lance deux nouveaux modèles : Phi-4-Multimodal et Phi-4-Mini 193

Microsoft a récemment lancé deux nouveaux modèles, à savoir Phi-4-Multimodal et Phi-4-Mini.

Bien que ces deux modèles soient conçus de manière assez compacte, leurs fonctionnalités ne sont absolument pas à sous-estimer. Phi-4-Multimodal est le premier modèle multimodal de Microsoft, capable d'intégrer des fonctionnalités telles que le traitement de la voix, de la vision et du texte, avec un nombre de paramètres de 5,6 milliards. Phi-4-Mini, quant à lui, se concentre sur les tâches textuelles, avec un nombre de paramètres de 380 millions. Ces deux modèles ont été particulièrement optimisés pour les performances sur les appareils locaux ainsi que sur les plateformes de calcul en périphérie, ce qui permet de réduire efficacement les coûts de calcul et la latence.

Phi-4-Multimodal

Qu'est-ce que Phi-4-Multimodal ?

Phi-4-Multimodal est un modèle multimodal comportant 560 millions de paramètres, principalement chargé de traiter les données textuelles, visuelles ainsi que vocales/audio. Il utilise une technique innovante appelée LoRA (Low-Rank Adaptation), associée à des routeurs spécifiques à chaque modalité, ce qui permet de traiter et de raisonner efficacement sur des données de plusieurs modalités sans augmenter la taille globale du modèle.

Caractéristiques techniques

Phi-4-Multimodal utilise l'encodeur d'images SigLIP - 400M et un projecteur MLP, permettant d'aligner les informations visuelles avec l'espace de représentation textuelle. De plus, il dispose d'une stratégie dynamique de multi-découpage, qui lui permet de traiter correctement des images de n'importe quelle résolution. Dans les tâches liées à la parole, bien que le composant LoRA de la modalité vocale/audio soit de taille modeste, il atteint un taux d'erreur de mots (WER) de 6,14 % sur le classement OpenASR, se classant en première position, ce qui démontre ses performances remarquables en reconnaissance automatique de la parole.

Caractéristiques fonctionnelles

• Capacité de traitement multimodal : Phi-4-Multimodal est le premier modèle de langage multimodal à architecture unifiée de Microsoft intégrant le traitement de la parole, de la vision et du texte, avec un nombre de paramètres atteignant 5,6 milliards. Il est capable de traiter plusieurs types de données, tels que du texte, des images, de la parole, etc., et de fusionner les informations de ces différentes modalités afin d'en exploiter les corrélations.

• Traitement vocal : dans les domaines de la reconnaissance automatique de la parole (ASR) et de la traduction vocale (ST), Phi-4-Multimodal surpasse des modèles vocaux spécialisés tels que WhisperV3 et SeamlessM4T-v2-Large, avec des performances exceptionnelles.

• Traitement visuel : dans des tâches telles que la compréhension de documents, la compréhension de graphiques, la reconnaissance optique de caractères (OCR) et le raisonnement scientifique visuel, Phi-4-Multimodal rivalise avec des modèles populaires tels que Gemini-2-Flash-lite-preview et Claude-3.5-Sonnet, voire les dépasse.

• Traitement textuel : dans des tâches telles que le raisonnement textuel, les calculs mathématiques, la programmation, le suivi d'instructions et l'appel de fonctions, Phi-4-Multimodal affiche d'excellentes performances.

Domaines d'application

Phi-4-Multimodal ne se distingue pas seulement dans les tâches visuelles et vocales, mais se montre également très compétitif dans des domaines tels que les questions-réponses vocales, la compréhension de documents, la reconnaissance optique de caractères et le raisonnement scientifique. Cependant, dans certaines questions-réponses à forte intensité de connaissances, il peut être légèrement en retrait par rapport à des modèles de plus grande taille.

• Domaine des assistants intelligents : dans le contrôle de la maison intelligente, Phi-4-Multimodal peut exécuter des tâches avec plus de précision en se basant sur les instructions vocales de l'utilisateur et les images capturées par les caméras intérieures.

• Domaine éducatif : pour les supports d'apprentissage multimédia dans l'enseignement en ligne, Phi-4-Multimodal peut analyser les images et les textes correspondant aux commentaires audio des vidéos, offrant ainsi un soutien d'apprentissage plus complet aux étudiants.

Phi-4-Mini

Qu'est-ce que Phi-4-Mini ?

Phi-4-Mini est un modèle performant spécialement conçu pour les tâches textuelles, comportant 380 millions de paramètres. Ses performances dans les tâches de compréhension et de génération de langage sont bien meilleures que ce que laisserait présager sa taille, et peuvent même être comparées à celles de modèles plus grands dans certains aspects.

Caractéristiques techniques

Phi-4-Mini adopte une architecture Transformer à 32 couches, avec une taille d'état cachée fixée à 3 072, et introduit un mécanisme Group Query Attention (GQA), ce qui lui permet de mieux traiter les informations contextuelles longues. De plus, l'utilisation de dimensions fractionnaires RoPE améliore également son efficacité dans le traitement des longues séquences.

Caractéristiques fonctionnelles

Conception légère : le modèle Phi-4-Mini se concentre sur les tâches textuelles et compte 3,8 milliards de paramètres. Il adopte un mécanisme d'attention par requêtes groupées (GQA) ainsi qu'une technique de liaison des embeddings d'entrée/sortie, optimisant l'utilisation des ressources lors de la génération de contextes longs.

Traitement textuel efficace : dans des tâches telles que le raisonnement textuel, les calculs mathématiques, la programmation, le suivi d'instructions et l'appel de fonctions, Phi-4-Mini affiche d'excellentes performances, surpassant plusieurs modèles de langage étendus populaires.

Scénarios d'application

Applications mobiles : dans les applications de smartphone, Phi-4-Mini peut offrir aux utilisateurs un service d'interaction linguistique pratique, répondant rapidement aux questions concernant les informations touristiques, les transports locaux, etc.

Appareils IoT : pour les appareils IoT tels que les enceintes intelligentes, Phi-4-Mini peut effectuer localement sur l'appareil certaines interactions vocales simples, réduisant ainsi la dépendance au cloud, améliorant la vitesse de réponse et protégeant la confidentialité des utilisateurs.

Performances

Bien que sa taille soit modeste, Phi-4-Mini surpasse, dans des tâches telles que le raisonnement, les mathématiques et la programmation, des modèles de grande taille de même catégorie, démontrant ainsi pleinement son efficacité et sa précision dans des tâches spécifiques.

Téléchargement du modèle :https://huggingface.co/collections/microsoft/phi-4-677e9380e514feb5577a40e4