Assistant scénario▸ 
Apps AI 
Actualités AI 
Janus-Pro : modèle multimodal de compréhension et de génération par DeepSeek
Janus-Pro : modèle multimodal de compréhension et de génération par DeepSeekIntroduction
Janus-Pro est un modèle de compréhension et de génération multimodale développé par DeepSeek, spécialisé dans les tâches de génération d'images et de compréhension multimodale. Il adopte un cadre autorégressif unifiant la compréhension et la génération d'informations multimodales. Contrairement aux méthodes traditionnelles, Janus-Pro résout les limites des approches précédentes en décomposant le processus d'encodage visuel en plusieurs chemins indépendants, améliorant ainsi l'adaptabilité et les performances du modèle dans différentes tâches. Janus-Pro a obtenu d'excellents résultats lors des tests de référence GenEval et DPG-Bench, surpassant même Stable Diffusion et DALL-E 3 d'Openai.
Fonctionnalités principales de Janus-Pro :
Janus-Pro est un modèle multimodal unifié capable de gérer simultanément les tâches de génération d'images et de compréhension multimodale. Ses principales fonctionnalités sont :
Texte-vers-Image (Text-to-Image) : génère des images de haute qualité à partir de descriptions textuelles, avec une restitution précise des scènes complexes et une optimisation des détails.
Compréhension multimodale : capable de comprendre le contenu des images et de générer des descriptions pertinentes, prenant en charge des tâches telles que la réponse visuelle aux questions et l'annotation d'images.
Génération multimodale : ne se limite pas à la génération d'images, mais peut également décrire les images générées, reconnaître du texte et des informations sur des points de repère, offrant ainsi une expérience interactive plus riche.
Caractéristiques techniques de Janus-Pro
Cadre autorégressif : adopte des chemins d'encodage visuel découplés, séparant les tâches de « compréhension » et de « génération », résolvant ainsi le conflit de l'encodeur visuel dans les modèles traditionnels pour ces deux types de tâches.
Entraînement efficace : pré-entraîné sur 72 millions d'images synthétiques de haute qualité, améliorant la capacité de génération et la stabilité du modèle.
Architecture unifiée : basée sur l'architecture Transformer, intégrant les tâches de compréhension et de génération multimodales, simplifiant la conception du modèle et améliorant sa flexibilité.
Prise en charge de l'exécution locale : la version 7B de paramètres de Janus-Pro peut fonctionner sur des GPU grand public, réduisant ainsi les exigences matérielles.
Performances de Janus-Pro
Surpasse DALL-E 3 et Stable Diffusion : lors des tests GenEval et DPG-Bench, la précision et la qualité d'image de Janus-Pro sont supérieures à celles de DALL-E 3 et Stable Diffusion.
Compréhension de scènes complexes : excellentes performances en termes d'alignement texte-image et de restitution des détails dans des scènes complexes.
Inférence efficace : prend en charge l'exécution sur une seule carte, avec une grande efficacité d'inférence, adapté aux entreprises et aux particuliers.
Scénarios d'application de Janus-Pro
Génération d'images : excellentes performances dans les tâches de génération d'images.
Texte-vers-Image : améliore la stabilité de la génération texte-vers-image.
Conception créative : aide les designers à générer rapidement des ressources visuelles de haute qualité, améliorant ainsi l'efficacité créative.
Éducation et recherche : utilisé pour générer du matériel pédagogique ou aider à l'analyse d'images dans la recherche scientifique.
Applications commerciales : prend en charge la conception publicitaire, la présentation de produits et d'autres scénarios, répondant aux besoins des entreprises en matière d'images de haute qualité.
Interaction multimodale : utilisé pour les assistants intelligents, la réalité virtuelle et autres scénarios nécessitant compréhension et génération d'images.
Janus-Pro est conçu sur la base des modèles DeepSeek-LLM-1.5b-base et DeepSeek-LLM-7b-base, et prend en charge les tâches de compréhension et de génération multimodales. Il utilise SigLIP-L comme encodeur visuel, capable de traiter des images en entrée de 384 x 384 pixels, et adopte un tokenizer de source spécifique pour les tâches de génération d'images, avec un taux de sous-échantillonnage de . La flexibilité et l'efficacité de cette architecture permettent à Janus-Pro d'exceller dans les tâches multimodales, surpassant les modèles unifiés traditionnels et obtenant également de très bons résultats par rapport aux modèles spécifiques à une tâche.
Janus-Pro est open source sous licence MIT, les utilisateurs peuvent le télécharger et l'utiliser gratuitement, sans restriction pour un usage commercial. DeepSeek fournit également un guide de déploiement détaillé, permettant aux utilisateurs de déployer rapidement le modèle dans un environnement local.
Article :https://github.com/deepseek-ai/Janus/blob/main/janus_pro_tech_report.pdf
Téléchargement Github :https://github.com/deepseek-ai/Janus
Démonstration en ligne :https://huggingface.co/deepseek-ai/Janus-Pro-7B
Actualités connexes :
Comment déployer DeepSeek Janus Pro en local ?
Quelles sont les différences et points communs entre Janus-Pro et JanusFlow ?
DeepSeek lance en pleine nuit de nouveaux modèles IA multimodaux : Janus-Pro et JanusFlow
