Tencent HunyuanDiT: el modelo de generación de texto a imagen de Tencent 245

HunyuanDiT es el último modelo de IA de texto a imagen de código abierto lanzado por Tencent. Adopta la misma arquitectura DiT (Diffusion With Transformer) que Sora y Stable Diffusion 3, y admite entrada y comprensión bilingüe en chino e inglés. Es capaz de comprender tanto chino como inglés, e incluso captar matices sutiles del lenguaje, como el contexto y la complejidad de las oraciones. También admite interactuar con el modelo mediante conversaciones de varias rondas para refinar y ajustar progresivamente el contenido de la imagen. HunyuanDiT admite la generación de imágenes en distintas resoluciones.

HunyuanDiT llena el vacío que existía en una arquitectura DiT nativa en chino para la generación de texto a imagen, lo que facilita que más desarrolladores y creadores participen y exploren y cocreen conjuntamente la generación visual basada en la arquitectura DiT. Además, HunyuanDiT se describe como la primera arquitectura DiT nativa en chino, que admite entrada y comprensión bilingüe en chino e inglés, con un número de parámetros de 1.500 millones.

Funciones y optimizaciones de HunyuanDiT:

• Soporte para generación de texto en chino e inglés: HunyuanDiT está especialmente diseñado para procesar texto bilingüe chino-inglés y puede generar imágenes de alta resolución y alta calidad a partir de descripciones textuales detalladas.

• Capacidad de comprensión de textos largos: a nivel algorítmico, HunyuanDiT ha optimizado la capacidad del modelo para comprender textos largos, admitiendo entradas de hasta 256 caracteres, e implementando además la capacidad de generar imágenes y mantener diálogos en varias rondas para lograr resultados más satisfactorios.

• Generación visual multimodal: HunyuanDiT no solo puede usarse para texto a imagen, sino que también puede servir como base para la generación visual multimodal de vídeos, lo que demuestra su potente capacidad de generación visual.

• Innovación en la arquitectura de red: adopta una arquitectura de red innovadora que combina un CLIP bilingüe y codificadores T5 multilingües, entrenada y optimizada mediante un pipeline de datos cuidadosamente diseñado, compatible con conversaciones de varias rondas y capaz de generar y perfeccionar imágenes según el contexto.

• Código abierto y uso comercial: HunyuanDiT es completamente de código abierto y permite el uso comercial gratuito, lo que ofrece a los usuarios mayor flexibilidad y más escenarios de uso.

• Fusión tecnológica: HunyuanDiT combina las ventajas de los modelos de difusión y la arquitectura Transformer, ofreciendo una potente capacidad de generación visual. Esta arquitectura puede usarse no solo para texto a imagen, sino también para vídeo y otros contenidos visuales multimodales.

Áreas de aplicación de HunyuanDiT:

• Generación de texto a imagen: el modelo HunyuanDiT está especialmente diseñado para procesar texto bilingüe chino-inglés y puede generar imágenes de alta resolución y alta calidad a partir de descripciones textuales detalladas.

• Generación de contenido de 3D y vídeo: HunyuanDiT no solo admite texto a imagen, sino que también puede servir como base para la generación visual multimodal como el vídeo.

• Integración en negocios internos: más de 180 negocios internos de Tencent ya se han integrado con Hunyuan de Tencent, incluyendo Tencent Meeting, Tencent Docs, WeCom, Tencent Ads y Búsqueda de WeChat, entre otros.

• Soporte nativo en chino: HunyuanDiT es uno de los primeros modelos de texto a imagen de la industria en explorar y aplicar un modelo de lenguaje grande combinado con la estructura DiT, admitiendo entrada y comprensión bilingüe en chino e inglés, con 1.500 millones de parámetros.

• Conversación en varias rondas y perfeccionamiento de la imagen: HunyuanDiT es capaz de mantener conversaciones de varias rondas con el usuario, generando y perfeccionando la imagen según el contexto.

Dirección del proyecto HunyuanDiT de Tencent:https://github.com/Tencent/HunyuanDiT

Sitio web oficial del proyecto HunyuanDiT de Tencent:https://dit.hunyuan.tencent.com/