Tencent HunyuanDiT : le modèle texte-vers-image de Tencent 251

HunyuanDiT est le dernier modèle IA de génération d'images à partir de texte en open source publié par Tencent. Il adopte la même architecture DiT (Diffusion With Transformer) que Sora et Stable Diffusion 3, et prend en charge la saisie et la compréhension bilingues chinois-anglais. Il peut comprendre le chinois et l'anglais, et saisir les nuances du langage, telles que le contexte, la complexité des phrases, etc. Il prend également en charge l'interaction avec le modèle via des dialogues multi-tours, permettant d'affiner et d'ajuster progressivement le contenu de l'image. HunyuanDiT permet de générer des images dans différentes résolutions.

HunyuanDiT comble le manque d'une architecture DiT native en chinois pour la génération d'images à partir de texte, permettant à davantage de développeurs et de créateurs de participer et d'explorer ensemble la génération visuelle basée sur l'architecture DiT. De plus, HunyuanDiT est décrit comme la première architecture DiT native en chinois, prenant en charge la saisie et la compréhension bilingues chinois-anglais, avec un nombre de paramètres atteignant 1,5 milliard.

Fonctionnalités et optimisations de HunyuanDiT :

• Prise en charge de la génération de texte bilingue chinois-anglais : HunyuanDiT est spécialement conçu pour traiter du texte bilingue chinois-anglais, capable de générer des images haute résolution et de haute qualité à partir d'invites textuelles détaillées.

• Capacité de compréhension de textes longs : Au niveau algorithmique, HunyuanDiT a optimisé la capacité de compréhension de textes longs du modèle, prenant en charge la saisie de contenu allant jusqu'à 256 caractères, tout en permettant la génération d'images et les dialogues multi-tours pour obtenir des résultats plus satisfaisants.

• Génération visuelle multimodale : HunyuanDiT peut non seulement être utilisé pour la génération d'images à partir de texte, mais également comme base pour la génération visuelle multimodale telle que la vidéo, ce qui démontre ses puissantes capacités de génération visuelle.

• Innovation de l'architecture réseau : Il adopte une architecture réseau innovante, combinant CLIP bilingue et encodeur T5 multilingue, entraîné et optimisé via un pipeline de données soigneusement conçu. Il prend en charge les dialogues multi-tours et peut générer et affiner des images en fonction du contexte.

• Open source et usage commercial : HunyuanDiT est entièrement open source et permet un usage commercial gratuit, offrant ainsi davantage de flexibilité et de scénarios d'utilisation aux utilisateurs.

• Fusion technologique : HunyuanDiT combine les avantages des modèles de diffusion et de l'architecture Transformer, offrant de puissantes capacités de génération visuelle. Cette architecture peut non seulement être utilisée pour la génération d'images à partir de texte, mais également pour la vidéo et d'autres contenus visuels multimodaux.

Domaines d'application de HunyuanDiT :

• Génération d'images à partir de texte : Le modèle HunyuanDiT est spécialement conçu pour traiter du texte bilingue chinois-anglais et peut générer des images haute résolution et de haute qualité à partir d'invites textuelles détaillées.

• Génération de contenu vidéo et 3D : HunyuanDiT peut non seulement prendre en charge la génération d'images à partir de texte, mais également servir de base pour la génération visuelle multimodale telle que la vidéo.

• Intégration aux activités internes : Plus de 180 activités internes de Tencent ont intégré Hunyuan de Tencent, notamment Tencent Meeting, Tencent Docs, WeCom, Tencent Ads et WeChat Search, etc.

• Support natif du chinois : HunyuanDiT est l'un des premiers modèles de l'industrie à explorer et appliquer la combinaison de grands modèles de langage avec la structure DiT pour la génération d'images à partir de texte, prenant en charge la saisie et la compréhension bilingues chinois-anglais, avec 1,5 milliard de paramètres.

• Dialogue multi-tours et affinement d'images : HunyuanDiT est capable de dialoguer avec les utilisateurs sur plusieurs tours, générant et affinant des images en fonction du contexte.

Adresse du projet HunyuanDiT de Tencent :https://github.com/Tencent/HunyuanDiT

Site officiel du projet HunyuanDiT de Tencent :https://dit.hunyuan.tencent.com/