Nexus-Gen: Open-Source-Bildmodell auf GPT-4o-Niveau 86

Nexus-Gen ist ein vom ModelScope-Team Open-Source-veröffentlichtes Bildmodell, dessen Fähigkeiten in Bildverstehen, -generierung und -bearbeitung mit denen von GPT-4o vergleichbar sind. Das Modell vereint die Textmodellierung von MLLMs mit der Bildrendering-Technologie von Diffusionsmodellen und verwendet einen einzigartigen Ansatz zur Modellierung im hochdimensionalen Merkmalsraum, wodurch das bei herkömmlichen autoregressiven Modellen häufig auftretende Problem der Fehlerakkumulation während der Inferenz effektiv gelöst wird. Durch das separate Training des autoregressiven Modells und des Diffusionsmodells wird die Bildgenerierungsqualität von Nexus-Gen deutlich verbessert. Darüber hinaus wurde es mit 25 Millionen Daten aus der Open-Source-Community trainiert, um die Entwicklung von All-to-All-Modellen voranzutreiben.

Funktionsmerkmale von Nexus-Gen

1. Bildverstehen

• Präzise Erkennung und Analyse: Nexus-Gen kann verschiedene Elemente in Bildern genau verstehen, darunter Objekte, Szenen und Texte. Beispielsweise kann es bei OCR-Aufgaben (Optical Character Recognition) den Textinhalt in Bildern mit hoher Genauigkeit erkennen und dessen Semantik verstehen.

• Domänenübergreifende Anpassungsfähigkeit: Das Modell zeigt hervorragende Leistungen in zahlreichen Bereichen, darunter allgemeine visuelle Frage-Antwort-Aufgaben, Sprachverstehen, Zählen, Code-Analyse, Mathematik und wissenschaftliche Aufgaben. Beispielsweise kann es bei Aufgaben zum visuellen Frage-Antwort-System komplexe Fragen zu Bildinhalten beantworten, wie etwa „Welche Tiere sind auf dem Bild zu sehen und was tun sie?“.

• Kontextverständnis: Nexus-Gen berücksichtigt nicht nur das Bild selbst, sondern kann auch den Kontext des Bildes in Verbindung mit Textbeschreibungen verstehen. Wird beispielsweise ein Bild mit Begleittext angegeben, kann es den Bildinhalt anhand der Kombination aus Text und Bild genauer interpretieren.

2. Bildgenerierung

• Hochwertige Bildsynthese: Nexus-Gen kann hochwertige Bilder erzeugen – seien es einfache Objekte oder komplexe Szenen. Beispielsweise kann es basierend auf der Textbeschreibung „Ein Golden Retriever, der über eine Wiese rennt“ ein klares, realistisches Bild generieren.

• Kreativität und Details: Das Modell kann anhand von Textvorgaben kreative und detaillierte Bilder erzeugen. Wird beispielsweise „Eine Nachtszene in einer futuristischen Stadt mit blinkenden Neonlichtern und fliegenden Autos“ beschrieben, kann es ein Bild mit futuristischem und technologischem Flair erzeugen.

• Stilisierte Generierung: Nexus-Gen unterstützt die Bildgenerierung in verschiedenen Stilen, darunter realistische, Cartoon- und Ölgemälde-Stile. Nutzer können durch Angabe eines Stils Bilder nach ihren Anforderungen erzeugen.

3. Bildbearbeitung

• Vielseitige Bearbeitungsoperationen: Nexus-Gen unterstützt zahlreiche Bildbearbeitungsoperationen, darunter Objektmodifikation, Hinzufügen oder Entfernen von Objekten, Farbänderungen und Stilumwandlungen. Beispielsweise können Nutzer „die roten Blumen auf diesem Foto in blaue umwandeln“ oder „einen Schmetterling zum Bild hinzufügen“ verlangen.

• Präzise Steuerung: Das Modell kann Bearbeitungsoperationen basierend auf Textanweisungen präzise ausführen. Beispielsweise können Nutzer verlangen, „den Himmel im Bild in einen Sonnenuntergangshintergrund zu ändern“, und Nexus-Gen erkennt und ersetzt den Hintergrund genau.

• Mehrstufige Bearbeitungsabläufe: Nexus-Gen kann komplexe, mehrstufige Bearbeitungsaufgaben bewältigen. Beispielsweise können Nutzer verlangen, „zuerst das alte Auto im Bild durch ein neues zu ersetzen und dann den Hintergrund in eine Stadtstraße zu ändern“, und das Modell führt diese Operationen nacheinander aus.

Anwendungsszenarien von Nexus-Gen

1. Content-Erstellung

• Kreatives Design: Designer können Nexus-Gen nutzen, um schnell kreative Bilder als Ausgangspunkt oder Inspirationsquelle für Designs zu erzeugen. Beispielsweise können bei der Gestaltung von Werbeplakaten erste visuelle Effekte basierend auf dem Werbekonzept erstellt werden.

• Illustration und Malerei: Künstler können das Modell verwenden, um Skizzen für Illustrationen oder Gemälde zu erzeugen und diese anschließend weiter auszuarbeiten. Beispielsweise können anhand einer Geschichtebeschreibung Illustrationsskizzen generiert werden, was Zeit bei der kreativen Arbeit spart.

2. Werbung und Marketing

• Generierung von Werbematerialien: Werbeagenturen können Nexus-Gen nutzen, um schnell Bildmaterialien für Werbung zu erstellen. Beispielsweise können basierend auf Werbekonzepten Produktbilder oder Szenenbilder erzeugt werden.

• Personalisierte Werbung: Basierend auf den Bedürfnissen und Vorlieben der Nutzer können personalisierte Werbebilder erstellt werden. Beispielsweise können Produktempfehlungsbilder erzeugt werden, die den Interessen der Nutzer entsprechen.

3. Spieleentwicklung

• Generierung von Spielszenen und Charakteren: Spieleentwickler können Nexus-Gen nutzen, um Szenen und Charaktere für Spiele zu generieren. Beispielsweise können basierend auf Beschreibungen der Spielhandlung Spielkarten oder Charakterdesigns erstellt werden.

• Erweiterung der Spielmaterialbibliothek: Schnelle Generierung zahlreicher Spielmaterialien zur Anreicherung der Spielinhalte, beispielsweise Gebäude oder Gegenstände in unterschiedlichen Stilen.

4. Bildung und Training

• Lehrunterstützung: Lehrkräfte können Nexus-Gen nutzen, um Bilder für den Unterricht zu erzeugen und den Schülern das Verständnis der Lerninhalte zu erleichtern. Beispielsweise können in naturwissenschaftlichen Fächern Bilder von Tieren und Pflanzen erstellt werden.

• Virtuelles Labor: Generierung von Bildern virtueller Experimentszenen und Arbeitsschritten, um Schülern virtuelle Experimente zu ermöglichen. Beispielsweise können Bilder chemischer Experimente erstellt werden, die den Versuchsablauf zeigen.

5. Unterhaltung und Soziales

• Personalisierte Avatare und Bilder: Nutzer können basierend auf ihren Vorlieben personalisierte Avatare oder Bilder für soziale Medien erstellen, etwa charaktervolle Cartoon-Avatare.

• Kreative Fotobearbeitung: Teilen kreativer Fotobearbeitungswerke in sozialen Medien, etwa die Bearbeitung gewöhnlicher Fotos zu Bildern im Kunststil.

Installation und Nutzung

Installationsschritte

• Installation von DiffSynth-Studio: Klonen und installieren Sie es aus dem Quellcode mit dem Befehl git clone https://github.com/modelscope/DiffSynth-Studio.git, wechseln Sie anschließend in das Verzeichnis und führen Sie pip install -e. aus.

• Abhängigkeiten installieren: Führen Sie pip install -r requirements.txt aus.

• Für das Fine-Tuning installieren Sie ms-swift: pip install ms-swift -U.

• Modell vorbereiten: Führen Sie python download_models.py aus.

Nutzung der Funktionsskripte

Bildverstehen: Führen Sie python image_understanding.py aus.

Bildgenerierung

• Bildgenerierung mit detaillierten Prompts: Führen Sie python image_generation.py aus.

• Prompt-Verfeinerung und Bildgenerierung mit Nexus-Gen: Führen Sie python image_generation_with_selfpolish.py aus.

Bildbearbeitung: Führen Sie python image_editing.py aus.

Projektlinks

Paper: https://arxiv.org/pdf/2504.21356

github: https://github.com/modelscope/Nexus-Gen

modelscope: https://www.modelscope.cn/models/DiffSynth-Studio/Nexus-Gen

https://www.modelscope.cn/collections/ImagePulse----tulvmaidong-7c3b8283a43e40