Hunyuan-Large-Vision: modelo de comprensión multimodal de la familia Hunyuan Vision de Tencent 72

小编 · 2025-08-13

Hunyuan-Large-Vision de Tencent es el modelo de comprensión multimodal de la familia Hunyuan Vision. Usa arquitectura MoE con un encoder visual Hunyuan ViT de resolución nativa con decenas de miles de millones de parámetros, un conector MLP y un modelo de lenguaje MoE de 389B parámetros y 52B activos. Admite imágenes, videos y entradas espaciales 3D de cualquier resolución, con comprensión multilingüe reforzada, ideal para resolver problemas por foto, videollamadas, comprensión de video y redacción creativa.

Hunyuan-Large-Vision: modelo de comprensión multimodal de la familia Hunyuan Vision de Tencent

El Hunyuan-Large-Vision presentado por Tencent es un modelo de comprensión multimodal dentro de la familia de modelos visuales Hunyuan. Utiliza una arquitectura MoE y se compone de un codificador visual Hunyuan ViT de resolución nativa con decenas de miles de millones de parámetros, un módulo conector MLP, y un modelo de lenguaje MoE con 389B de parámetros y 52B de parámetros activados. Admite entradas de imagen en cualquier resolución, vídeo y espacio 3D, y ha fortalecido especialmente la comprensión en escenarios multilingües, lo que permite su uso en situaciones como resolución de problemas mediante fotos, videollamadas, comprensión de vídeo y creación de textos.

📚 Arquitectura del modelo

Codificador visual: un codificador visual Hunyuan ViT de resolución nativa con decenas de miles de millones de parámetros, optimizado para tareas multimodales, que admite entradas de resolución nativa y es capaz de captar con precisión información visual a partir de imágenes y vídeos de diversos tamaños.
Módulo conector MLP: diseñado con un mecanismo de submuestreo adaptativo que comprime eficientemente las características visuales y conecta el codificador visual con el modelo de lenguaje.
Modelo de lenguaje MoE: cuenta con 389B de parámetros y 52B de parámetros activados, y posee una gran capacidad de comprensión y razonamiento multilingüe.

📚 Parámetros de rendimiento

Obtiene 1256 puntos en la "LMArena Vision Leaderboard" del Arena Internacional de Grandes Modelos, ocupando el quinto puesto y siendo el primero entre los modelos nacionales, con un rendimiento destacado. En varias evaluaciones académicas habituales del conjunto de evaluación académica multimodal OpenCompass, alcanza una puntuación media de 79,5, con un buen desempeño en tareas complejas como razonamiento visual, comprensión de vídeo y comprensión de espacios tridimensionales.

📚 Características funcionales

Soporte de entrada multimodal: capaz de procesar información visual diversa como imágenes en cualquier resolución, vídeo y espacios 3D.
Gran capacidad multilingüe: ha mejorado especialmente la comprensión de escenarios multilingües, permitiendo interpretar con precisión contenidos descritos en distintos idiomas y realizar análisis y procesamiento adecuados.
Ventajas técnicas
Diseño de arquitectura avanzada: la innovadora arquitectura MoE equilibra la eficiencia computacional y el rendimiento. Gracias a una estrategia de enrutamiento híbrido que combina expertos compartidos y expertos especializados, mejora la eficiencia del entrenamiento y el rendimiento del modelo.
Soporte de datos de alta calidad: durante el preentrenamiento se utiliza una gran cantidad de datos multimodales de alta calidad, incluyendo datos de imagen y vídeo seleccionados y anotados mediante procesos específicos, lo que proporciona un material rico para el aprendizaje del modelo.

📚 Escenarios de aplicación

Resolución de problemas mediante fotos: tras subir una imagen, el modelo puede responder en función del contenido, por ejemplo identificando plantas o resolviendo problemas matemáticos.
Videollamadas: capaz de analizar el contenido de vídeo en tiempo real y ofrecer información relevante o interacción, como identificar a los participantes de la llamada o analizar la escena.
Comprensión de vídeo y creación de textos: puede resumir y analizar vídeos, generar textos relacionados, y realizar creaciones creativas a partir del contenido del vídeo, como escribir guiones.