JanusFlow: un modelo de IA multimodal presentado por DeepSeek 227

DeepSeek presenta un avanzado modelo de inteligencia artificial multimodal, cuyo objetivo es unificar las tareas de comprensión y generación visual. Mediante la combinación de un modelo de lenguaje autorregresivo (LLM) y la técnica de Rectified Flow, logra procesar simultáneamente la comprensión de imágenes y la generación de texto a imagen dentro de un único modelo.

Funciones principales

• Comprensión de imágenes: capaz de analizar el contenido de las imágenes y generar descripciones relacionadas, admitiendo tareas como preguntas y respuestas visuales y anotación de imágenes.

• Generación de texto a imagen: genera imágenes de alta calidad a partir de descripciones de texto, aplicable en campos como el diseño creativo y la publicidad.

• Unificación de tareas multimodales: integra las tareas de comprensión y generación en un único modelo, evitando la complejidad de mantener varios modelos independientes propia de los métodos tradicionales.

• Entrenamiento de extremo a extremo: el modelo logra un entrenamiento de extremo a extremo al fusionar directamente el codificador visual con el marco de comprensión del modelo de lenguaje autorregresivo y el marco de generación basado en Rectified Flow.

Características técnicas

• Combinación de modelo de lenguaje autorregresivo y Rectified Flow: mediante la fusión de un modelo de lenguaje autorregresivo con la técnica Rectified Flow, JanusFlow logra una eficiente capacidad de generación y comprensión de imágenes. Rectified Flow es un método de modelado generativo basado en ecuaciones diferenciales ordinarias (ODE) que simplifica el proceso de entrenamiento y mejora la calidad de la generación.

• Codificador visual desacoplado: JanusFlow diseña codificadores visuales independientes para las tareas de comprensión y generación, evitando interferencias entre tareas y, al mismo tiempo, mejora la consistencia semántica mediante una estrategia de alineación de representaciones.

• Guía sin clasificador (CFG): durante el proceso de generación de imágenes, JanusFlow utiliza la técnica CFG para controlar la alineación entre las imágenes generadas y las condiciones textuales, mejorando así la calidad de la imagen.

Rendimiento

• Generación de imágenes: en las pruebas GenEval y DPG-Bench, JanusFlow supera a Stable Diffusion v1.5 y SDXL, alcanzando niveles líderes en precisión semántica y calidad visual de las imágenes generadas29.

• Comprensión de imágenes: en tareas de comprensión visual como MMBench, SeedBench y GQA, JanusFlow obtuvo puntuaciones de 74.9, 70.5 y 60.3 respectivamente, superando a múltiples modelos especializados de similar escala.

Ventajas técnicas

• La filosofía de diseño de JanusFlow reside en lograr funciones complejas mediante una arquitectura sencilla, aprovechando la combinación de un codificador visual preentrenado con un modelo de lenguaje de gran tamaño, lo que mejora el rendimiento general y la eficiencia del modelo. Esta arquitectura innovadora sitúa a JanusFlow en una posición de liderazgo en el campo de la ia multimodal, con un amplio potencial de aplicación.

Estrategia de entrenamiento

• Fase de adaptación: los componentes se inicializan aleatoriamente y se entrenan preliminarmente para que los nuevos módulos colaboren eficazmente con el modelo preentrenado.

• Preentrenamiento unificado: se combinan datos de comprensión multimodal, generación de imágenes y texto puro para el entrenamiento, aumentando gradualmente la proporción de datos de generación.

• Ajuste fino supervisado (SFT): se ajustan los datos de instrucción para realizar un fine-tuning del modelo, mejorando aún más su capacidad de respuesta y la calidad de generación.

Escenarios de aplicación

• Diseño creativo: genera imágenes de alta calidad a partir de descripciones de texto, aplicable en escenarios como publicidad y desarrollo de videojuegos.

• Preguntas y respuestas visuales: ofrece servicios inteligentes de preguntas y respuestas basadas en imágenes en campos como la educación y las visitas guiadas a museos.

• Creación de contenido multimodal: combina texto e imágenes para generar nuevos contenidos multimedia, aplicable en redes sociales, reportajes de noticias, etc.

Código abierto y recursos

JanusFlow es un proyecto de código abierto. Los recursos relacionados incluyen:

Repositorio de GitHub: https://github.com/deepseek-ai/Janus

Descarga del modelo:Hugging Face

Prueba en línea: Demo

Artículo técnico: arXiv

Noticias relacionadas:

¿Cuáles son las diferencias y similitudes entre Janus-Pro y JanusFlow?

DeepSeek lanza a medianoche nuevos modelos de IA multimodales: Janus-Pro y JanusFlow