Hunyuan-Large-Vision: мультимодальная модель понимания из семейства Hunyuan Vision от Tencent 77

小编 · 2025-08-13

Hunyuan-Large-Vision от Tencent — модель мультимодального понимания из семейства Hunyuan Vision. Архитектура MoE включает визуальный энкодер Hunyuan ViT нативного разрешения с десятками миллиардов параметров, MLP-коннектор и языковую модель MoE с 389 млрд параметров и 52 млрд активных. Поддерживает изображения, видео и 3D-пространство любого разрешения, усиленное многоязычное понимание; подходит для решения задач по фото, видеозвонков, понимания видео и создания текстов.

Hunyuan-Large-Vision: мультимодальная модель понимания из семейства Hunyuan Vision от Tencent

Hunyuan-Large-Vision, выпущенный Tencent, — это мультимодальная модель понимания из семейства визуальных моделей Hunyuan. Она использует архитектуру MoE и состоит из визуального кодировщика Hunyuan ViT с миллиардами параметров и нативным разрешением, соединительного модуля MLP, а также языковой модели MoE с 389B параметров и 52B активных параметров. Поддерживает ввод изображений в произвольном разрешении, видео, 3D пространственных данных, при этом особенно усилена способность понимания в многоязычных сценариях. Может использоваться для таких задач, как решение задач по фото, видеозвонки, понимание видео и создание текстов.

📚 Архитектура модели

Визуальный кодировщик: визуальный кодировщик Hunyuan ViT с миллиардами параметров и нативным разрешением, оптимизированный для мультимодальных задач, поддерживает ввод в нативном разрешении и способен точно захватывать визуальную информацию из изображений и видео различных размеров.
Соединительный модуль MLP: разработан с механизмом адаптивного снижения разрешения, что позволяет эффективно сжимать визуальные признаки и соединять визуальный кодировщик с языковой моделью.
Языковая модель MoE: содержит 389B параметров и 52B активных параметров, обладает мощными возможностями многоязычного понимания и рассуждения.

📚 Параметры производительности

На международном рейтинге больших моделей «LMArena Vision Leaderboard» набрала 1256 баллов и заняла пятое место, став первой среди отечественных моделей, демонстрируя выдающуюся производительность. В наборе мультимодальных академических оценок OpenCompass по нескольким распространённым академическим тестам средний балл составил 79,5; модель показывает хорошие результаты в сложных задачах, таких как визуальное рассуждение, понимание видео и понимание трёхмерного пространства.

📚 Функциональные особенности

Поддержка мультимодального ввода: способна обрабатывать разнообразную визуальную информацию, включая изображения в произвольном разрешении, видео и 3D пространственные данные.
Мощные многоязычные возможности: особое внимание уделено улучшению понимания в многоязычных сценариях, модель может точно понимать контент, описанный на разных языках, а также выполнять его анализ и обработку.
Технические преимущества
Передовая архитектура: инновационная архитектура MoE обеспечивает баланс между вычислительной эффективностью и производительностью; благодаря гибридной стратегии маршрутизации с общими и специализированными экспертами повышается эффективность обучения и производительность модели.
Поддержка высококачественными данными: при предварительном обучении использовались большие объёмы высококачественных мультимодальных данных, включая изображения и видео, отобранные и размеченные с помощью специальных процессов, что обеспечивает богатый материал для обучения модели.

📚 Сценарии применения

Решение задач по фото: после загрузки изображения пользователем модель может дать ответ на основе содержимого, например распознать растения или решить математическую задачу.
Видеозвонки: способна в реальном времени анализировать видеоконтент и предоставлять соответствующую информацию или взаимодействие, например распознавать лица участников звонка, анализировать сцену и т. д.
Понимание видео и создание текстов: может обобщать и анализировать видео, генерировать сопутствующие тексты, а также выполнять творческие задачи на основе видеоконтента, например писать сценарии для видео.