DeepSeek dévoile en pleine nuit de nouveaux modèles IA multimodaux : Janus-Pro et JanusFlow 257

DeepSeek a publié Janus-Pro et JanusFlow, qui constituent des avancées majeures dans le domaine de l'IA multimodale. Ces deux modèles sont conçus pour améliorer les capacités de compréhension et de génération d'images, en particulier dans les tâches de génération texte-vers-image.

Le modèle Janus-Pro

Janus-Pro est un cadre unifié de compréhension et de génération multimodale. Son architecture, qui repose sur un découplage du codage visuel, améliore de manière significative l'adaptabilité et les performances du modèle dans différentes tâches. Selon le rapport de DeepSeek, Janus-Pro obtient d'excellents résultats sur plusieurs benchmarks, notamment en génération texte-vers-image, avec des taux de précision atteignant 80 % et 84,2 %, surpassant des concurrents comme DALL-E 3 d'OpenAI.

De plus, la conception de Janus-Pro met l'accent sur la flexibilité et l'efficacité, ce qui lui permet de s'adapter à de multiples scénarios multimodaux tels que la réponse visuelle à des questions ou l'annotation d'images. Cela lui confère un large potentiel dans des applications concrètes, notamment dans les domaines nécessitant une génération d'images de haute qualité, comme la publicité, les jeux vidéo et la création artistique.

Le modèle JanusFlow

Complémentaire de Janus-Pro, JanusFlow est un cadre qui fusionne un flux génératif avec un modèle de langage autorégressif. Son concept de conception vise à unifier la compréhension et la génération visuelles, permettant d'excellentes performances dans les tâches de compréhension tout en générant des images de haute qualité. L'architecture extrêmement minimaliste de JanusFlow le rend plus efficace lors de l'entraînement et de l'inférence, ce qui le rend adapté aux applications à grande échelle.

Points forts techniques et innovations

Janus-Pro :

• Codage visuel découplé : en séparant le processus de codage visuel en voies distinctes, traitant séparément les tâches de compréhension et de génération multimodales, le conflit fonctionnel de l'encodeur visuel dans les deux types de tâches est résolu, améliorant considérablement l'adaptabilité et les performances du modèle.

• Architecture Transformer unifiée : une architecture Transformer unique est adoptée pour traiter les tâches multimodales, simplifiant la conception du modèle et améliorant sa capacité d'extension.

• Performances élevées : sur les benchmarks GenEval et DPG-Bench, Janus-Pro-7B atteint des taux de précision respectifs de 80 % et 84,2 %, surpassant DALL-E 3 d'OpenAI et Stable Diffusion.

JanusFlow :

• Fusion d'un flux génératif et d'un modèle de langage : en combinant un flux génératif (Rectified Flow) avec un modèle de langage autorégressif, JanusFlow offre un cadre multimodal minimaliste mais puissant, capable de générer des images de haute qualité sans modifications complexes.

• Grande flexibilité et évolutivité : il prend en charge l'extension à plusieurs tâches, ce qui en fait un excellent choix pour un cadre multimodal unifié.

Performances

Capacité de génération d'images : Janus-Pro et JanusFlow prennent tous deux en charge la génération d'images en résolution 384x384, avec une qualité de génération élevée et une adaptation à de multiples scénarios d'application.

Capacité de compréhension multimodale : dans les tâches de réponse visuelle à des questions et d'annotation d'images, les deux modèles surpassent les modèles dédiés à une tâche spécifique, démontrant une forte polyvalence.

Résultats aux benchmarks : lors des tests GenEval et DPG-Bench, Janus-Pro-7B obtient des résultats nettement supérieurs à DALL-E 3 et Stable Diffusion, devenant ainsi un acteur de premier plan dans le domaine multimodal actuel.

La publication des modèles Janus-Pro et JanusFlow présente non seulement un caractère novateur sur le plan technique, mais démontre également des avantages significatifs en termes de performances.