Microsoft представила две новые модели: Phi-4-Multimodal и Phi-4-Mini 188

Microsoft недавно выпустила две новые модели: Phi-4-Multimodal и Phi-4-Mini.

Хотя эти две модели разработаны достаточно компактными, их функциональность не стоит недооценивать. Phi-4-Multimodal — это первая мультимодальная модель Microsoft, которая объединяет возможности обработки речи, визуальной информации и текста, с количеством параметров 5,6 миллиарда. Phi-4-Mini, в свою очередь, сосредоточена на текстовых задачах и имеет 380 миллионов параметров. Обе модели делают особый упор на оптимизацию производительности на устройствах и периферийных вычислительных платформах, что позволяет эффективно снижать вычислительные затраты и задержки.

Phi-4-Multimodal

Что такое Phi-4-Multimodal?

Phi-4-Multimodal — это мультимодальная модель с 560 миллионами параметров, предназначенная для обработки текстовых, визуальных, а также речевых/аудиоданных. В ней используется инновационная технология под названием LoRA (Low-Rank Adaptation) в сочетании со специализированными модальными маршрутизаторами, что позволяет эффективно обрабатывать и выполнять логический вывод для данных различных модальностей без увеличения общего размера модели.

Технические особенности

Phi-4-Multimodal использует кодировщик изображений SigLIP - 400M и MLP-проектор, что позволяет согласовать пространство представления визуальной информации с текстовым. Кроме того, модель применяет стратегию динамической множественной обрезки, благодаря чему способна отлично справляться с изображениями любого разрешения. В задачах, связанных с речью, хотя LoRA-компоненты речевой/аудио модальности невелики по размеру, модель достигла частоты ошибок на уровне слов (WER) в 6,14% в рейтинге OpenASR, заняв первое место, что свидетельствует о её выдающихся результатах в автоматическом распознавании речи.

Функциональные особенности

• Мультимодальная обработка: Phi-4-Multimodal — это первая мультимодальная языковая модель Microsoft с унифицированной архитектурой, объединяющей обработку речи, визуальной информации и текста, с количеством параметров 5,6 миллиарда. Она способна обрабатывать данные различных типов, такие как текст, изображения, речь и т.д., объединяя информацию из этих различных модальностей и выявляя связи между ними.

• Обработка речи: в задачах автоматического распознавания речи (ASR) и речевого перевода (ST) Phi-4-Multimodal превосходит такие специализированные речевые модели, как WhisperV3 и SeamlessM4T-v2-Large, демонстрируя превосходные результаты.

• Обработка визуальной информации: в задачах понимания документов, понимания диаграмм, оптического распознавания символов (OCR) и визуального научного мышления Phi-4-Multimodal не уступает или даже превосходит такие популярные модели, как Gemini-2-Flash-lite-preview и Claude-3.5-Sonnet.

• Обработка текста: Phi-4-Multimodal демонстрирует отличные результаты в задачах текстового логического вывода, математических вычислений, программирования, следования инструкциям и вызова функций.

Области применения

Phi-4-Multimodal демонстрирует выдающиеся результаты не только в визуальных и речевых задачах, но и в вопросно-ответных системах на основе речи, понимании документов, оптическом распознавании символов и научном мышлении. Тем не менее, в некоторых вопросно-ответных задачах, требующих интенсивного использования знаний, она может несколько уступать более крупным моделям.

• Сфера интеллектуальных помощников: в управлении умным домом Phi-4-Multimodal может более точно выполнять задачи на основе голосовых команд пользователя и изображений с внутренних камер.

• Сфера образования: при работе с мультимедийными учебными материалами в онлайн-образовании Phi-4-Multimodal способна анализировать изображения в видео, текст, соответствующий аудио пояснений, и т.д., обеспечивая студентам более комплексную учебную поддержку.

Phi-4-Mini

Что такое Phi-4-Mini?

Phi-4-Mini — это высокоэффективная модель, специально разработанная для текстовых задач, с 380 миллионами параметров. Она демонстрирует значительно лучшие результаты в задачах понимания и генерации языка, чем можно было бы ожидать, исходя из её размера, и в некоторых аспектах может сравниться с более крупными моделями.

Технические особенности

Phi-4-Mini построена на архитектуре Transformer с 32 слоями, размер скрытого состояния составляет 3 072, а также внедрён механизм Group Query Attention (GQA), что позволяет лучше обрабатывать длинный контекст. Кроме того, использование дробной размерности RoPE повышает эффективность обработки длинных последовательностей.

Функциональные особенности

Лёгкая архитектура: модель Phi-4-Mini сосредоточена на текстовых задачах и насчитывает 3,8 миллиарда параметров. В ней используются механизм группового внимания (GQA) и техника связывания входных/выходных эмбеддингов, что оптимизирует использование ресурсов при генерации длинного контекста.

Эффективная обработка текста: Phi-4-Mini демонстрирует выдающиеся результаты в задачах текстового логического вывода, математических вычислений, программирования, следования инструкциям и вызова функций, превосходя ряд популярных крупных языковых моделей.

Сценарии применения

Мобильные приложения: в мобильных приложениях Phi-4-Mini может предоставлять пользователям удобный языковой интерфейс для быстрого получения ответов на вопросы о достопримечательностях, местном транспорте и т.д.

Устройства Интернета вещей: для IoT-устройств, таких как умные колонки, Phi-4-Mini может выполнять часть простого речевого взаимодействия локально на устройстве, снижая зависимость от облака, повышая скорость отклика и защищая конфиденциальность пользователей.

Производительность

Несмотря на свой небольшой размер, Phi-4-Mini превосходит аналогичные крупные модели в задачах логического вывода, математики и программирования, что убедительно подтверждает её эффективность и точность в конкретных задачах.

Скачать модель:https://huggingface.co/collections/microsoft/phi-4-677e9380e514feb5577a40e4