대본 기획 도우미▸ 
AI 앱 
AI 뉴스 
JanusFlow: DeepSeek가 공개한 멀티모달 AI 모델
JanusFlow: DeepSeek가 공개한 멀티모달 AI 모델소개
DeepSeek 팀에서推出的先進의 다중 모달 인공지능 모델로, 시각적 이해와 생성 작업을 통합하는 것을 목표로 합니다. 자회귀 언어 모델(LLM)과 Rectified Flow(보정 흐름) 기술을 결합하여 단일 모델에서 이미지 이해와 텍스트-이미지 생성을 동시에 처리하는 능력을 구현했습니다.
핵심 기능
이미지 이해: 이미지 내용을 분석하고 관련 설명을 생성할 수 있으며, 시각적 질의응답, 이미지 주석 작성 등의 작업을 지원합니다.
텍스트-이미지 생성: 텍스트 설명에 따라 고품질 이미지를 생성하며, 창의적 디자인, 광고 등의 분야에 적용됩니다.
다중 모달 작업 통합: 이해와 생성 작업을 하나의 모델로 통합하여 기존 방식에서 여러 독립 모델을 유지해야 하는 복잡성을 제거합니다.
엔드 투 엔드 학습: 이 모델은 비주얼 인코더를 자회귀 언어 모델의 이해 프레임워크 및 Rectified Flow 기반 생성 프레임워크와 직접 융합하여 엔드 투 엔드 학습을 구현합니다.
기술적 특징
자회귀 언어 모델과 보정 흐름의 결합: 자회귀 언어 모델과 Rectified Flow 기술을 융합함으로써 JanusFlow는 효율적인 이미지 생성과 이해 능력을 구현했습니다. Rectified Flow는 상미분 방정식(ODE) 기반의 생성 모델링 방법으로, 학습 과정을 단순화하고 생성 품질을 향상시킵니다.
디커플링된 비주얼 인코더: JanusFlow는 이해와 생성 작업을 위해 각각 독립적인 비주얼 인코더를 설계하여 작업 간 간섭을 방지하는 동시에, 표현 정렬 전략을 통해 의미적 일관성을 강화합니다.
무분류기 유도(CFG): 이미지 생성 과정에서 JanusFlow는 CFG 기술을 사용하여 생성된 이미지와 텍스트 조건의 정렬을 제어함으로써 이미지 품질을 향상시킵니다.
성능
이미지 생성: GenEval 및 DPG-Bench 테스트에서 JanusFlow는 Stable Diffusion v1.5 및 SDXL보다 우수한 성능을 보였으며, 생성된 이미지의 의미적 정확성과 시각적 품질 모두 선도적 수준에 도달했습니다29.
이미지 이해: MMBench, SeedBench 및 GQA 등의 시각적 이해 작업에서 JanusFlow의 점수는 각각 74.9, 70.5 및 60.3으로, 동급 규모의 여러 전문 모델을 능가했습니다.
기술적 장점
JanusFlow의 설계 철학은 간결한 아키텍처로 복잡한 기능을 구현하는 데 있으며, 사전 학습된 비주얼 인코더와 대규모 언어 모델의 결합을 활용하여 모델의 전반적인 성능과 효율성을 향상시킵니다. 이러한 혁신적인 아키텍처는 JanusFlow가 다중 모달 ai 분야에서 선도적 위치에 서도록 하며, 광범위한 응용 잠재력을 갖추게 합니다.
학습 전략
적응 단계: 구성 요소를 무작위로 초기화하고初步 학습을 진행하여 새로운 모듈이 사전 학습된 모델과 효과적으로 협력하도록 합니다.
통합 사전 학습: 다중 모달 이해, 이미지 생성 및 순수 텍스트 데이터를 결합하여 학습하며, 생성 데이터의 비율을 점진적으로 증가시킵니다.
지도 미세 조정(SFT): 지시 조정 데이터를 사용하여 모델을 미세 조정하여 응답 능력과 생성 품질을 더욱 향상시킵니다.
응용 시나리오
창의적 디자인: 텍스트 설명에 따라 고품질 이미지를 생성하며, 광고, 게임 개발 등의 시나리오를 지원합니다.
시각적 질의응답: 교육, 박물관 안내 등의 분야에서 이미지 기반의 지능형 질의응답 서비스를 제공합니다.
다중 모달 콘텐츠 제작: 텍스트와 이미지를 결합하여 새로운 미디어 콘텐츠를 생성하며, 소셜 미디어, 뉴스 보도 등에 적용됩니다.
오픈 소스 및 리소스
JanusFlow는 오픈 소스 프로젝트이며, 관련 리소스는 다음과 같습니다:
GitHub 저장소: https://github.com/deepseek-ai/Janus
모델 다운로드:Hugging Face
온라인 체험: Demo
기술 논문: arXiv
관련 정보:
