OmniGen2: la versión open source de Flux.1 Kontext 67

OmniGen2 es un modelo de generación multimodal presentado por el Instituto de Investigación BAAI. Similar a Flux.1 Kontext, puede modificar imágenes mediante texto, e integra en un mismo marco la comprensión visual, la síntesis de texto a imagen, la edición de imágenes basada en instrucciones y la generación contextual guiada por un tema. Este modelo adopta una arquitectura desacoplada, lo que le permite generar efectos visuales con detalles finos y estilo coherente, al mismo tiempo que conserva su capacidad de modelado de lenguaje. Además, incorpora un mecanismo de reflexión multimodal que puede analizar, examinar e iterar la optimización de los resultados generados, integrando el razonamiento y la autocorrección en el proceso de generación de imágenes. Esto le permite destacar tanto en tareas de generación como de comprensión, convirtiéndose en un nuevo referente entre los modelos ligeros de código abierto.

Funciones principales

• Generación de texto a imagen: los usuarios pueden generar imágenes de diversas escenas y personajes a partir de descripciones de texto, como por ejemplo "un gato con corona tumbado en un trono de terciopelo" o "un mago oscuro lanzando magia en una cueva antigua".

• Función de edición de imágenes: admite múltiples modificaciones sobre las imágenes generadas, como cambiar el color de la ropa, sustituir el fondo, o añadir y eliminar elementos de la composición.

• Conversión de estilo: permite transformar imágenes a distintos estilos artísticos, por ejemplo estilo anime o estilo pintura al óleo.

• Composición de personajes y escenas: es capaz de combinar personajes o elementos de diferentes imágenes en nuevas escenas, por ejemplo "que la chica de la primera imagen y el chico de la segunda imagen celebren una boda en una iglesia".

Características

• Salida de alta calidad: las imágenes generadas son ricas en detalles y ofrecen efectos visuales sobresalientes.

• Capacidades de edición flexibles: ofrece múltiples opciones de edición que permiten a los usuarios personalizar las imágenes según sus necesidades.

• Naturaleza de código abierto: al ser un proyecto de código abierto, brinda más posibilidades de exploración y desarrollo a desarrolladores e investigadores.

Escenarios de uso

• Diseño creativo: los diseñadores pueden aprovechar OmniGen2 para generar rápidamente conceptos y bocetos de diseño.

• Creación de contenido: los creadores de contenido pueden generar imágenes de diversas escenas y personajes para usarlas en la creación de historias, producción de vídeo y otros escenarios.

• Educación e investigación: educadores e investigadores pueden utilizarlo como herramienta didáctica y de investigación para explorar las aplicaciones de la tecnología de generación multimodal.

Ejemplos de aplicación

• Generación de imágenes: generar imágenes de diversas escenas y personajes a partir de descripciones de texto, como "un gato con corona tumbado en un trono de terciopelo".

• Edición de imágenes: realizar modificaciones sobre las imágenes generadas, como cambiar el color de la ropa o sustituir el fondo.

• Composición de imágenes: combinar elementos de diferentes imágenes en nuevas escenas, por ejemplo "que la chica de la primera imagen y el chico de la segunda imagen se casen en una iglesia".

Preguntas clave

1. ¿Cuál es la innovación principal de OmniGen2?

La innovación principal de OmniGen2 radica en la adopción de una arquitectura desacoplada de doble vía que integra capacidades de generación multimodal, en la introducción de un mecanismo de reflexión multimodal que permite la autooptimización de los resultados, y en el diseño de la incrustación posicional Omni-RoPE para mejorar la coherencia en la edición de imágenes y la generación contextual. Estas innovaciones establecen un nuevo referente entre los modelos ligeros de código abierto.

2. ¿Qué operaciones específicas puede realizar OmniGen2 en la edición de imágenes?

OmniGen2 puede llevar a cabo diversas operaciones precisas en la edición de imágenes, incluyendo el manejo de objetos (por ejemplo, añadir o eliminar objetos, como ponerle a una persona un sombrero de pescador o quitar un gato de la escena), transformaciones de estilo (como cambiar el fondo a un escenario de aula o convertir el estilo al del Estudio Ghibli), ajustes de color (por ejemplo, cambiar el color del vestido a azul), modificación de expresiones (como hacer que el personaje sonría) y edición de acciones (por ejemplo, hacer que el personaje levante la mano), manteniendo al mismo tiempo la sensación de realismo visual y la coherencia en las áreas no editadas.

3. ¿Cómo mejora el mecanismo de reflexión multimodal la calidad de generación de OmniGen2?

El mecanismo de reflexión multimodal permite a OmniGen2 evaluar sus propios resultados generados e identificar situaciones en las que la descripción no coincide con el contenido de la imagen (por ejemplo, cuando se describen "tres pizzas" pero en la imagen solo aparece una, sugiere añadir más), errores de color o posición (como cuando un brócoli amarillo se genera en verde y se sugiere cambiar el color, o cuando un perro aparece en una silla en lugar de sobre la mesa amarilla y se sugiere ajustar la posición), entre otros problemas. Mediante la optimización iterativa, se generan resultados más acordes con los requisitos, lo que mejora la controlabilidad, fiabilidad y calidad del resultado.

Página del proyecto:https://vectorspacelab.github.io/OmniGen2/

Artículo técnico:https://github.com/VectorSpaceLab/OmniGen2

Probar online:https://huggingface.co/OmniGen2/OmniGen2

Nota:Flux.1 Kontext es una herramienta de generación y edición de imágenes desarrollada por el laboratorio alemán Black Forest Labs. Puede generar y editar imágenes a partir de indicaciones de texto e imagen, incluyendo modificar objetos, transformar estilos, sustituir fondos, mantener la coherencia de los personajes y editar texto. A diferencia de los modelos tradicionales de texto a imagen, admite la generación contextual de imágenes, lo que le permite combinar simultáneamente indicaciones de texto e imagen para extraer y modificar directamente conceptos visuales y generar nuevas imágenes coherentes.