Nexus-Gen : modèle d'image open-source au niveau de GPT-4o 91

小编 · 2025-05-12

Nexus-Gen est un modèle d'image open-source développé par l'équipe ModelScope, dont les capacités de compréhension, génération et édition d'images rivalisent avec GPT-4o. Il combine la modélisation textuelle des MLLM avec le rendu d'images par diffusion et adopte une approche originale de modélisation dans un espace de caractéristiques de haute dimension, résolvant efficacement le problème d'accumulation d'erreurs typique des modèles autorégressifs lors de l'inférence. En entraînant séparément les composantes autorégressive et de diffusion, la qualité de génération est nettement améliorée. Il a également été entraîné sur 25 millions d'échantillons fournis par la communauté open-source.

Nexus-Gen : modèle d'image open-source au niveau de GPT-4o

Nexus-Gen est un modèle d'images open source développé par l'équipe ModelScope, dont les capacités de compréhension, de génération et d'édition d'images rivalisent avec celles de GPT-4o. Ce modèle combine la modélisation textuelle des MLLMs avec la technologie de rendu d'images des modèles de diffusion, et adopte une approche unique de modélisation dans un espace de caractéristiques de haute dimension, résolvant efficacement le problème d'accumulation d'erreurs qui survient lors de l'inférence avec les modèles autorégressifs traditionnels. En entraînant séparément les modèles autorégressifs et de diffusion, la qualité de génération d'images de Nexus-Gen est nettement améliorée. De plus, il a été entraîné à l'aide d'un jeu de données de 25M fourni par la communauté open source, afin de promouvoir le développement des modèles All-to-All.

Nexus-Gen : modèle d'image open source tout-en-un, avec des capacités de compréhension, de génération et d'édition d'images comparables à celles de GPT-4o.webp

Caractéristiques et fonctionnalités de Nexus-Gen

1. Compréhension d'images

Reconnaissance et analyse précises : Nexus-Gen est capable de comprendre avec précision les différents éléments présents dans une image, notamment les objets, les scènes, le texte, etc. Par exemple, dans les tâches de reconnaissance optique de caractères (OCR), il peut identifier le contenu textuel d'une image avec une grande précision et en comprendre la sémantique.
Adaptabilité multi-domaines : ce modèle excelle dans de nombreux domaines, couvrant les questions-réponses visuelles généralistes, la compréhension du langage, le comptage, l'analyse de code, les tâches mathématiques et scientifiques, etc. Par exemple, dans les tâches de questions-réponses visuelles, il peut répondre à des questions complexes en se basant sur le contenu de l'image, comme « Quels animaux y a-t-il sur l'image et que font-ils ? »
Compréhension contextuelle : Nexus-Gen ne se limite pas à l'image elle-même, mais peut également comprendre le contexte de l'image en combinaison avec une description textuelle. Par exemple, lorsqu'une image est fournie avec une légende, il peut interpréter plus précisément le contenu de l'image en combinant le texte et l'image.

2. Génération d'images

Synthèse d'images de haute qualité : Nexus-Gen peut générer des images de haute qualité, qu'il s'agisse d'objets simples ou de scènes complexes. Par exemple, à partir de la description textuelle « un golden retriever qui court dans un pré », il peut générer une image nette et réaliste.
Créativité et détails : ce modèle est capable de générer des images créatives et détaillées à partir d'invites textuelles. Par exemple, en décrivant « une vue nocturne d'une ville futuriste, avec des néons scintillants et des voitures volantes circulant », il peut produire des images au style futuriste et technologique.
Génération stylisée : Nexus-Gen prend en charge la génération d'images dans plusieurs styles, notamment les styles réalistes, cartoon, peinture à l'huile, etc. Les utilisateurs peuvent spécifier un style pour générer des images correspondant à leurs besoins.

3. Édition d'images

Opérations d'édition diversifiées : Nexus-Gen prend en charge diverses opérations d'édition d'images, notamment la modification d'objets, l'ajout d'objets, la suppression d'objets, le changement de couleur et la conversion de style, etc. Par exemple, un utilisateur peut demander « changer en bleu les fleurs rouges sur cette photo » ou « ajouter un papillon sur l'image ».
Contrôle précis : ce modèle est capable d'effectuer des opérations d'édition avec précision selon les instructions textuelles. Par exemple, un utilisateur peut demander « remplacer le ciel de l'image par un coucher de soleil », et Nexus-Gen peut identifier et remplacer l'arrière-plan avec exactitude.
Processus d'édition en plusieurs étapes : Nexus-Gen peut gérer des tâches d'édition complexes en plusieurs étapes. Par exemple, un utilisateur peut demander « remplacer d'abord la vieille voiture sur l'image par une voiture neuve, puis changer l'arrière-plan en rue urbaine », et le modèle peut exécuter ces opérations dans l'ordre.

Cas d'utilisation de Nexus-Gen

1. Création de contenu

Design créatif : les designers peuvent utiliser Nexus-Gen pour générer rapidement des images créatives servant de point de départ ou de source d'inspiration pour leurs designs. Par exemple, lors de la conception d'une affiche publicitaire, ils peuvent générer un visuel préliminaire à partir du texte.
Illustration et peinture : les artistes peuvent utiliser ce modèle pour générer des croquis d'illustrations ou de peintures, puis les affiner davantage. Par exemple, générer des croquis d'illustration à partir de la description d'une histoire, ce qui permet de gagner du temps de création.

2. Publicité et marketing

Génération de素材 publicitaires : les agences de publicité peuvent utiliser Nexus-Gen pour générer rapidement les images nécessaires à leurs publicités. Par exemple, générer des images de présentation de produits ou des scènes à partir du texte publicitaire.
Publicité personnalisée : générer des images publicitaires personnalisées en fonction des besoins et des préférences des utilisateurs. Par exemple, générer des images de recommandation de produits correspondant aux goûts de l'utilisateur en fonction de ses centres d'intérêt.

3. Développement de jeux

Génération de scènes et de personnages de jeu : les développeurs de jeux peuvent utiliser Nexus-Gen pour générer des scènes et des personnages de jeu. Par exemple, générer des cartes de jeu ou des images de personnages à partir de la description du scénario du jeu.
Extension de la bibliothèque d'éléments de jeu : générer rapidement un grand nombre d'éléments de jeu pour enrichir le contenu. Par exemple, générer des bâtiments, des objets, etc., dans différents styles.

4. Éducation et formation

Support pédagogique : les enseignants peuvent utiliser Nexus-Gen pour générer les images nécessaires à leurs cours, aidant ainsi les élèves à mieux comprendre le contenu pédagogique. Par exemple, générer des images d'animaux et de plantes dans le cadre d'un cours de sciences naturelles.
Laboratoire virtuel : générer des images de scènes d'expériences virtuelles et d'étapes opérationnelles pour aider les élèves à réaliser des expériences virtuelles. Par exemple, générer des images d'expériences chimiques montrant le déroulement de l'expérience.

5. Divertissement et réseaux sociaux

Avatars et images personnalisés : les utilisateurs peuvent générer des avatars ou des images personnalisés selon leurs préférences, à utiliser sur les réseaux sociaux. Par exemple, générer un avatar cartoon avec une touche personnelle.
Édition photo créative : partager des œuvres d'édition photo créatives sur les réseaux sociaux. Par exemple, transformer une photo ordinaire en une image au style artistique pour plus d'originalité.

Installation et utilisation

Étapes d'installation

Installer DiffSynth-Studio : cloner et installer à partir des sources, avec la commande git clone https://github.com/modelscope/DiffSynth-Studio.git, puis, après être entré dans le répertoire, exécuter pip install -e. .
Installer les dépendances : exécuter pip install -r requirements.txt.
Pour effectuer un fine-tuning, installer ms-swift : pip install ms-swift -U.
Préparer les modèles : exécuter python download_models.py.

Utilisation des scripts fonctionnels

Compréhension d'images : exécuter python image_understanding.py.

Génération d'images

Génération d'images avec des invites détaillées : exécuter python image_generation.py.
Utilisation de Nexus-Gen pour le polissage des invites et la génération d'images : exécuter python image_generation_with_selfpolish.py.

Édition d'images : exécuter python image_editing.py.