DeepSeek presenta a medianoche nuevos modelos multimodales de AI: Janus-Pro y JanusFlow 245

DeepSeek presentó Janus-Pro y JanusFlow, que representan avances significativos en el campo de la ia multimodal. Estos dos modelos están diseñados para mejorar la comprensión y generación de imágenes, destacando especialmente en tareas de generación de texto a imagen.

Modelo Janus-Pro

Janus-Pro es un marco unificado de comprensión y generación multimodal. Su arquitectura, que desacopla la codificación visual, mejora significativamente la adaptabilidad y el rendimiento del modelo en diferentes tareas. Según el informe de DeepSeek, Janus-Pro tuvo un desempeño excelente en múltiples pruebas de referencia, especialmente en la capacidad de generación de texto a imagen, alcanzando una precisión del 80% y 84,2%, superando a competidores como DALL-E 3 de OpenAI.

Además, el diseño de Janus-Pro también hace hincapié en la flexibilidad y la eficiencia, siendo capaz de adaptarse a diversos escenarios multimodales, como preguntas y respuestas visuales, y anotación de imágenes. Esto le otorga un amplio potencial en aplicaciones prácticas, especialmente en áreas que requieren generación de imágenes de alta calidad, como publicidad, videojuegos y creación artística.

Modelo JanusFlow

Complementando a Janus-Pro, JanusFlow es un marco que fusiona flujos generativos con modelos de lenguaje autorregresivos. Su filosofía de diseño busca unificar la comprensión y generación visual, logrando un rendimiento destacado en tareas de comprensión mientras genera imágenes de alta calidad. La arquitectura minimalista de JanusFlow lo hace más eficiente en el entrenamiento y la inferencia, siendo adecuado para aplicaciones a gran escala.

Aspectos técnicos destacados e innovaciones

Janus-Pro:

• Codificación visual desacoplada: al dividir el proceso de codificación visual en rutas independientes, encargadas respectivamente de las tareas de comprensión y generación multimodal, se resuelve el conflicto funcional del codificador visual presente en los modelos tradicionales al abordar ambas tareas, mejorando significativamente la adaptabilidad y el rendimiento del modelo.

• Arquitectura Transformer unificada: emplea una única arquitectura Transformer para gestionar tareas multimodales, lo que simplifica el diseño del modelo y mejora su capacidad de escalado.

• Rendimiento destacado: en las pruebas de referencia GenEval y DPG-Bench, Janus-Pro-7B alcanza una precisión del 80% y 84,2% respectivamente, superando a DALL-E 3 de OpenAI y Stable Diffusion.

JanusFlow:

• Fusión de flujos generativos y modelos de lenguaje: al combinar flujos generativos (Rectified Flow) con un modelo de lenguaje autorregresivo, JanusFlow logra un marco multimodal minimalista pero potente, capaz de generar imágenes de alta calidad sin modificaciones complejas.

• Alta flexibilidad y escalabilidad: admite la expansión a múltiples tareas, convirtiéndose en una excelente opción como marco multimodal unificado.

Rendimiento

Capacidad de generación de imágenes: tanto Janus-Pro como JanusFlow admiten la generación de imágenes con una resolución de 384x384, ofreciendo alta calidad de generación y adaptándose a múltiples escenarios de aplicación.

Capacidad de comprensión multimodal: en tareas como preguntas y respuestas visuales, y anotación de imágenes, ambos modelos superan a los modelos especializados, demostrando una gran versatilidad.

Resultados en pruebas de referencia: en las pruebas GenEval y DPG-Bench, Janus-Pro-7B supera significativamente a DALL-E 3 y Stable Diffusion, convirtiéndose en un referente actual en el campo multimodal.

El lanzamiento de los modelos Janus-Pro y JanusFlow no solo destaca por su innovación técnica, sino que también demuestra ventajas significativas en cuanto a rendimiento.