Microsoft lanza dos nuevos modelos: Phi-4-Multimodal y Phi-4-Mini 190

Microsoft ha presentado recientemente dos nuevos modelos: Phi-4-Multimodal y Phi-4-Mini.

Aunque estos dos modelos están diseñados para ser bastante compactos, no se debe subestimar su funcionalidad. Phi-4-Multimodal es el primer modelo multimodal de Microsoft, capaz de integrar funcionalidades como el procesamiento de voz, visión y texto, con un total de 5.600 millones de parámetros. Phi-4-Mini, por su parte, se centra en tareas de texto y cuenta con 3.800 millones de parámetros. Ambos modelos están especialmente optimizados para su rendimiento en dispositivos locales y plataformas de computación en el borde, lo que reduce eficazmente los costes computacionales y la latencia.

Phi-4-Multimodal

¿Qué es Phi-4-Multimodal?

Phi-4-Multimodal es un modelo multimodal con 5.600 millones de parámetros, encargado principalmente de procesar datos de texto, visión y voz/audio. Emplea una técnica innovadora llamada LoRA (Low-Rank Adaptation), combinada con enrutadores específicos para cada modalidad, lo que permite procesar y razonar eficazmente sobre datos multimodales sin aumentar el tamaño global del modelo.

Características técnicas

Phi-4-Multimodal utiliza el codificador de imágenes SigLIP - 400M y un proyector MLP, lo que permite alinear el espacio de representación de la información visual con el del texto. Además, incorpora una estrategia dinámica de recorte múltiple, capaz de manejar imágenes de cualquier resolución de forma eficiente. En tareas relacionadas con la voz, aunque el componente LoRA para la modalidad de voz/audio tiene un tamaño reducido, alcanza una tasa de error de palabra (WER) del 6,14% en la clasificación OpenASR, situándose en primer lugar, lo que demuestra su excelente rendimiento en el reconocimiento automático del habla.

Características funcionales

• Capacidad de procesamiento multimodal: Phi-4-Multimodal es el primer modelo de lenguaje multimodal de arquitectura unificada de Microsoft que integra el procesamiento de voz, visión y texto, con un total de 5.600 millones de parámetros. Es capaz de procesar múltiples tipos de datos, como texto, imágenes y voz, fusionando la información de estas distintas modalidades para descubrir sus correlaciones.

• Procesamiento de voz: en reconocimiento automático del habla (ASR) y traducción de voz (ST), Phi-4-Multimodal supera a modelos especializados como WhisperV3 y SeamlessM4T-v2-Large, con un rendimiento excepcional.

• Procesamiento visual: en tareas de comprensión de documentos, comprensión de gráficos, reconocimiento óptico de caracteres (OCR) y razonamiento científico visual, Phi-4-Multimodal es comparable o incluso superior a modelos populares como Gemini-2-Flash-lite-preview y Claude-3.5-Sonnet.

• Procesamiento de texto: Phi-4-Multimodal destaca en tareas de razonamiento textual, cálculos matemáticos, programación, seguimiento de instrucciones y llamada a funciones.

Áreas de aplicación

Phi-4-Multimodal no solo destaca en tareas visuales y de voz, sino que también es muy competitivo en preguntas y respuestas por voz, comprensión de documentos, reconocimiento óptico de caracteres y razonamiento científico. No obstante, en algunas preguntas y respuestas intensivas en conocimiento, puede quedar ligeramente por detrás en comparación con modelos de mayor escala.

• Ámbito de los asistentes inteligentes: en el control del hogar inteligente, Phi-4-Multimodal puede ejecutar tareas con mayor precisión basándose en las instrucciones de voz del usuario y en las imágenes captadas por cámaras interiores.

• Ámbito educativo: para materiales didácticos multimedia en la educación en línea, Phi-4-Multimodal puede analizar las imágenes de los vídeos, el texto correspondiente al audio de las explicaciones, etc., ofreciendo a los estudiantes una ayuda al aprendizaje más completa.

Phi-4-Mini

¿Qué es Phi-4-Mini?

Phi-4-Mini es un modelo eficiente, diseñado específicamente para tareas de texto, con 3.800 millones de parámetros. Su rendimiento en tareas de comprensión y generación de lenguaje es muy superior al esperado para su tamaño, equiparable en ciertos aspectos al de modelos mucho más grandes.

Características técnicas

Phi-4-Mini adopta una arquitectura Transformer de 32 capas, con un tamaño de estado oculto de 3.072 e incorpora el mecanismo Group Query Attention (GQA), lo que le permite gestionar mejor la información de contextos largos. Además, el uso de dimensiones fraccionarias de RoPE aumenta la eficiencia en el procesamiento de secuencias largas.

Características funcionales

Diseño ligero: el modelo Phi-4-Mini se centra en tareas de texto y cuenta con 3.800 millones de parámetros. Emplea el mecanismo de atención de consultas agrupadas (GQA) y la técnica de vinculación de embeddings de entrada/salida, optimizando el uso de recursos en la generación de contextos largos.

Procesamiento de texto eficiente: Phi-4-Mini destaca en tareas de razonamiento textual, cálculos matemáticos, programación, seguimiento de instrucciones y llamada a funciones, superando a varios modelos de lenguaje de gran tamaño muy populares.

Escenarios de aplicación

Aplicaciones móviles: en aplicaciones para teléfonos móviles, Phi-4-Mini puede ofrecer a los usuarios un servicio de interacción lingüística práctico, respondiendo rápidamente a preguntas sobre información de lugares de interés, transporte local, etc.

Dispositivos IoT: para dispositivos IoT como altavoces inteligentes, Phi-4-Mini puede realizar ciertas interacciones de voz sencillas directamente en el dispositivo local, reduciendo la dependencia de la nube, aumentando la velocidad de respuesta y protegiendo la privacidad del usuario.

Rendimiento

A pesar de su reducido tamaño, Phi-4-Mini rinde mejor que modelos grandes de su misma categoría en tareas de razonamiento, matemáticas y programación, lo que demuestra su alta eficiencia y precisión en tareas específicas.

Descarga del modelo:https://huggingface.co/collections/microsoft/phi-4-677e9380e514feb5577a40e4