Hunyuan-Large-Vision : modèle de compréhension multimodale de la famille Hunyuan Vision de Tencent 74

小编 · 2025-08-13

Hunyuan-Large-Vision de Tencent est le modèle de compréhension multimodale de la famille Hunyuan Vision. Il adopte une architecture MoE composée d'un encodeur visuel Hunyuan ViT à résolution native avec des dizaines de milliards de paramètres, d'un connecteur MLP, et d'un modèle de langage MoE à 389 milliards de paramètres avec 52 milliards actifs. Il prend en charge images, vidéos et entrées 3D de toute résolution, avec une compréhension multilingue renforcée, pour la résolution de problèmes par photo, la visioconférence, la compréhension vidéo et la création de textes.

Hunyuan-Large-Vision : modèle de compréhension multimodale de la famille Hunyuan Vision de Tencent

Le Hunyuan-Large-Vision lancé par Tencent est un modèle de compréhension multimodale de la famille de modèles visuels Hunyuan. Il adopte une architecture MoE, composée d'un encodeur visuel Hunyuan ViT à résolution native de plusieurs milliards de paramètres, d'un module connecteur MLP, ainsi que d'un modèle de langage MoE de 389B de paramètres et 52B de paramètres activés. Il prend en charge les entrées d'images, de vidéos et d'espaces 3D de toute résolution, et renforce particulièrement la compréhension des scénarios multilingues. Il peut être utilisé pour la résolution de problèmes par photo, les appels vidéo, la compréhension vidéo et la création de textes.

📚 Architecture du modèle

Encodeur visuel : un encodeur visuel Hunyuan ViT à résolution native de plusieurs milliards de paramètres, optimisé pour les tâches multimodales, prenant en charge les entrées en résolution native et capable de capturer avec précision les informations visuelles à partir d'images et de vidéos de toutes tailles.
Module connecteur MLP : conçu avec un mécanisme adaptatif de sous-échantillonnage, il peut compresser efficacement les caractéristiques visuelles et connecter l'encodeur visuel au modèle de langage.
Modèle de langage MoE : contient 389B de paramètres et 52B de paramètres activés, avec de solides capacités de compréhension et de raisonnement multilingues.

📚 Paramètres de performance

Sur le « LMArena Vision Leaderboard » international des grands modèles, il obtient 1256 points, se classant cinquième et premier parmi les modèles nationaux, avec des performances remarquables. Dans plusieurs benchmarks académiques multimodaux courants du jeu d'évaluation OpenCompass, il atteint un score moyen de 79,5 et obtient d'excellents résultats dans des tâches complexes telles que le raisonnement visuel, la compréhension vidéo et la compréhension d'espaces 3D.

📚 Caractéristiques fonctionnelles

Prise en charge des entrées multimodales : capable de traiter diverses informations visuelles telles que des images, des vidéos et des espaces 3D de toute résolution.
Capacités multilingues puissantes : amélioration ciblée de la compréhension des scénarios multilingues, permettant de comprendre avec précision des contenus décrits dans différentes langues, et d'effectuer analyses et traitements.
Avantages techniques
Conception architecturale avancée : l'architecture MoE innovante équilibre efficacité computationnelle et performance. Grâce à une stratégie de routage hybride mêlant experts partagés et experts spécialisés, elle améliore l'efficacité de l'entraînement et les performances du modèle.
Prise en charge par des données de haute qualité : une grande quantité de données multimodales de haute qualité a été utilisée lors du pré-entraînement, y compris des données d'images et de vidéos filtrées et annotées selon des processus spécifiques, fournissant un matériel riche pour l'apprentissage du modèle.

📚 Scénarios d'application

Résolution de problèmes par photo : après que l'utilisateur télécharge une image, le modèle peut y répondre en fonction du contenu, par exemple identifier des plantes ou résoudre des problèmes de mathématiques.
Appels vidéo : capable d'analyser en temps réel le contenu vidéo et de fournir des informations pertinentes ou des interactions, comme l'identification des interlocuteurs ou l'analyse de la scène.
Compréhension vidéo et création de textes : peut résumer et analyser des vidéos, générer des textes associés, et réaliser des créations créatives basées sur le contenu vidéo, comme la rédaction de scripts vidéo.