Nexus-Gen: modelo de imagen de código abierto comparable a GPT-4o 89

Nexus-Gen es un modelo de imagen de código abierto del equipo de ModelScope, cuyas capacidades de comprensión, generación y edición de imágenes son comparables a las de GPT-4o. Este modelo fusiona el modelado de texto de los MLLMs con la tecnología de renderizado de imágenes de los modelos de difusión, y adopta un enfoque único de modelado en un espacio de características de alta dimensión, lo que resuelve eficazmente el problema de acumulación de errores que suelen presentar los modelos autorregresivos tradicionales durante la inferencia. Al entrenar por separado los modelos autorregresivos y de difusión, la calidad de generación de imágenes de Nexus-Gen mejora notablemente. Además, se entrenó con 25M de datos proporcionados por la comunidad de código abierto para impulsar el desarrollo de modelos All-to-All.

Características de Nexus-Gen

1. Comprensión de imágenes

• Reconocimiento y análisis precisos: Nexus-Gen puede comprender con precisión diversos elementos de una imagen, incluyendo objetos, escenas, texto, etc. Por ejemplo, en tareas de reconocimiento óptico de caracteres (OCR), puede identificar con alta precisión el contenido textual de una imagen y comprender su semántica.

• Adaptabilidad a múltiples dominios: este modelo destaca en múltiples dominios, incluyendo preguntas y respuestas visuales de propósito general, comprensión del lenguaje, conteo, análisis de código, tareas matemáticas y científicas, entre otros. Por ejemplo, en tareas de preguntas y respuestas visuales, puede responder preguntas complejas según el contenido de la imagen, como "¿Qué animales hay en la imagen y qué están haciendo?".

• Comprensión contextual: Nexus-Gen no solo se centra en la imagen en sí, sino que también puede comprender su contexto combinando descripciones textuales. Por ejemplo, cuando se le proporciona una imagen con un texto explicativo, puede interpretar el contenido de la imagen con mayor precisión combinando texto e imagen.

2. Generación de imágenes

• Síntesis de imágenes de alta calidad: Nexus-Gen puede generar imágenes de alta calidad, tanto de objetos simples como de escenas complejas. Por ejemplo, a partir de la descripción textual "un golden retriever corriendo por la hierba", puede generar una imagen nítida y realista.

• Creatividad y detalle: este modelo es capaz de generar imágenes creativas y detalladas a partir de indicaciones textuales. Por ejemplo, al describir "vista nocturna de una ciudad futurista con luces de neón parpadeando y coches voladores穿梭其间", puede generar imágenes con sensación futurista y tecnológica.

• Generación estilizada: Nexus-Gen admite la generación de imágenes en múltiples estilos, incluyendo estilo realista, cartoon, óleo, etc. Los usuarios pueden generar imágenes que se ajusten a sus necesidades especificando el estilo.

3. Edición de imágenes

• Operaciones de edición diversificadas: Nexus-Gen admite múltiples operaciones de edición de imágenes, incluyendo modificación, adición y eliminación de objetos, cambios de color y transformaciones de estilo, entre otras. Por ejemplo, los usuarios pueden pedir "cambiar las flores rojas de esta foto por azules" o "añadir una mariposa a la imagen".

• Control preciso: este modelo puede realizar operaciones de edición con precisión según instrucciones textuales. Por ejemplo, si el usuario pide "cambiar el cielo de la imagen por un atardecer", Nexus-Gen puede identificar y reemplazar el fondo con precisión.

• Flujo de edición en varios pasos: Nexus-Gen puede manejar tareas de edición complejas en varios pasos. Por ejemplo, el usuario puede pedir "primero cambiar el coche viejo de la imagen por uno nuevo y luego cambiar el fondo por una calle urbana", y puede completar estas operaciones de forma secuencial.

Escenarios de aplicación de Nexus-Gen

1. Creación de contenidos

• Diseño creativo: los diseñadores pueden utilizar Nexus-Gen para generar rápidamente imágenes creativas como punto de partida o fuente de inspiración para sus diseños. Por ejemplo, al diseñar un cartel publicitario, se pueden generar efectos visuales preliminares a partir del texto.

• Ilustración y pintura: los artistas pueden utilizar este modelo para generar bocetos de ilustraciones o pinturas y luego seguir creando a partir de ellos. Por ejemplo, generar bocetos de ilustraciones según la descripción de una historia, ahorrando tiempo de creación.

2. Publicidad y marketing

• Generación de materiales publicitarios: las agencias de publicidad pueden utilizar Nexus-Gen para generar rápidamente los materiales visuales necesarios para los anuncios. Por ejemplo, generar imágenes de展示 de productos o escenas a partir del texto del anuncio.

• Publicidad personalizada: generar imágenes publicitarias personalizadas según las necesidades y preferencias de los usuarios. Por ejemplo, generar imágenes de recomendación de productos acordes a los intereses del usuario.

3. Desarrollo de videojuegos

• Generación de escenas y personajes de juego: los desarrolladores de videojuegos pueden utilizar Nexus-Gen para generar las escenas y personajes del juego. Por ejemplo, generar mapas del juego o imágenes de personajes a partir de la descripción de la trama.

• Ampliación de la biblioteca de assets del juego: generar rápidamente una gran cantidad de assets para enriquecer el contenido del juego. Por ejemplo, generar edificios,道具, etc. en diferentes estilos.

4. Educación y formación

• Material de apoyo docente: los profesores pueden utilizar Nexus-Gen para generar las imágenes necesarias para la enseñanza y ayudar a los estudiantes a comprender mejor el contenido del curso. Por ejemplo, generar imágenes de animales y plantas en la enseñanza de ciencias naturales.

• Laboratorios virtuales: generar escenas de experimentos virtuales e imágenes de los pasos operativos para ayudar a los estudiantes a realizar experimentos virtuales. Por ejemplo, generar imágenes de experimentos químicos que muestren el proceso experimental.

5. Entretenimiento y redes sociales

• Avatares e imágenes personalizados: los usuarios pueden generar avatares o imágenes personalizados según sus preferencias para utilizarlos en redes sociales. Por ejemplo, generar avatares cartoon con características personales.

• Edición creativa de fotos: compartir obras de edición creativa de fotos en redes sociales. Por ejemplo, editar fotos comunes transformándolas en imágenes con estilo artístico para aumentar la diversión.

Instalación y uso

Pasos de instalación

• Instalar DiffSynth - Studio: clonar e instalar desde el código fuente con el comando git clone https://github.com/modelscope/DiffSynth-Studio.git, luego entrar en el directorio y ejecutar pip install -e. .

• Instalar dependencias: ejecutar pip install -r requirements.txt.

• Si se desea realizar fine-tuning, instalar ms - swift: pip install ms-swift -U.

• Preparar el modelo: ejecutar python download_models.py.

Uso de los scripts de funciones

Comprensión de imágenes: ejecutar python image_understanding.py.

Generación de imágenes

• Generación de imágenes con indicaciones detalladas: ejecutar python image_generation.py.

• Uso de Nexus - Gen para pulir las indicaciones y generar imágenes: ejecutar python image_generation_with_selfpolish.py.

Edición de imágenes: ejecutar python image_editing.py.

Enlaces del proyecto

Artículo: https://arxiv.org/pdf/2504.21356

github: https://github.com/modelscope/Nexus-Gen

modelscope: https://www.modelscope.cn/models/DiffSynth-Studio/Nexus-Gen

https://www.modelscope.cn/collections/ImagePulse----tulvmaidong-7c3b8283a43e40