DeepSeek, 새 멀티모달 AI 모델 야간 공개: Janus-Pro와 JanusFlow 256

DeepSeek가发布的 Janus-Pro와 JanusFlow는 멀티모달 ai 분야의 중대한 돌파구이며, 이 두 모델은 이미지 이해 및 생성 능력을 향상시키고, 특히 텍스트-이미지 생성 작업에서 뛰어난 성능을 발휘하도록 설계되었습니다.

Janus-Pro 모델

Janus-Pro는 통합된 멀티모달 이해 및 생성 프레임워크입니다. 아키텍처는 비주얼 인코딩을 분리(decoupling)하는 방식으로 설계되어 다양한 작업에서 모델의 적응력과 성능을 크게 향상시켰습니다. DeepSeek의 보고서에 따르면, Janus-Pro는 여러 벤치마크 테스트에서 우수한 성능을 보였으며, 특히 텍스트-이미지 생성 능력이 80%와 84.2%의 정확도를 달성하여 OpenAI의 DALL-E 3와 같은 경쟁 모델을 능가했습니다.

또한 Janus-Pro의 설계는 유연성과 효율성에도 중점을 두어, 시각적 질의응답(VQA), 이미지 캡셔닝 등 다양한 멀티모달 시나리오에 적용할 수 있습니다. 이로 인해 광고, 게임, 예술 창작 등 고품질 이미지 생성이 필요한 분야에서 광범위한 활용 잠재력을 가지고 있습니다.

JanusFlow 모델

Janus-Pro와 상호 보완적인 관계인 JanusFlow는 생성 플로우(generative flow)와 자기회귀 언어 모델을 융합한 모델입니다. 설계 철학은 시각 이해와 생성을 통합하는 것으로, 이해 작업에서 뛰어난 성능을 보이는 동시에 고품질 이미지를 생성할 수 있습니다. JanusFlow의 미니멀한 아키텍처는 훈련 및 추론 과정에서 더 높은 효율성을 제공하여 대규모 애플리케이션에 적합합니다.

기술적亮点와 혁신

Janus-Pro:

• 비주얼 인코딩 분리(decoupling): 비주얼 인코딩 과정을 독립적인 경로로 분리하여 멀티모달 이해와 생성 작업을 각각 처리함으로써, 전통적인 모델에서 비주얼 인코더가 두 가지 작업에서 겪던 기능 충돌 문제를 해결하고 모델의 적응력과 성능을 크게 향상시켰습니다.

• 통합 Transformer 아키텍처: 단일 Transformer 아키텍처를 사용하여 멀티모달 작업을 처리함으로써 모델 설계를 단순화하고 확장성을 향상시켰습니다.

• 고성능: GenEval 및 DPG-Bench 벤치마크 테스트에서 Janus-Pro-7B는 각각 80%와 84.2%의 정확도를 달성하여 OpenAI의 DALL-E 3와 Stable Diffusion을 능가했습니다.

JanusFlow:

• 생성 플로우와 언어 모델의 융합: 생성 플로우(Rectified Flow)와 자기회귀 언어 모델을 결합하여 복잡한 수정 없이도 고품질 이미지를 생성할 수 있는 미니멀하면서도 강력한 멀티모달 프레임워크를 달성했습니다.

• 높은 유연성과 확장성: 다중 작업 확장을 지원하여 통합 멀티모달 프레임워크로서 탁월한 선택이 됩니다.

성능

이미지 생성 능력: Janus-Pro와 JanusFlow는 모두 384x384 해상도의 이미지 생성을 지원하며, 생성 품질이 높아 다양한 애플리케이션 시나리오에 적합합니다.

멀티모달 이해 능력: 시각적 질의응답, 이미지 캡셔닝 등 작업에서 두 모델 모두 전용 작업 모델을 능가하는 성능을 보이며 강력한 범용성을 입증했습니다.

벤치마크 테스트 성적: GenEval 및 DPG-Bench 테스트에서 Janus-Pro-7B는 DALL-E 3와 Stable Diffusion보다 현저히 우수한 성능을 보이며 현재 멀티모달 분야의 선도적 모델이 되었습니다.

Janus-Pro 및 JanusFlow 모델의 공개는 기술적으로 혁신적일 뿐만 아니라 성능 면에서도显著한 우위를 보여주었습니다.