OmniGen2: 오픈소스 버전의 Flux.1 Kontext 72

OmniGen2는 지위안 연구원(BAAI)에서推出的다중 모달 생성 모델이다. Flux.1 Kontext와 유사하게 텍스트를 통해 이미지를 수정할 수 있으며, 시각 이해, 텍스트-이미지 합성, 지시문 기반 이미지 편집, 주제 기반 맥락 생성을 하나의 프레임워크로 통합한다. 이 모델은 분리(decoupled) 아키텍처를 채택하여 언어 모델링 능력을 유지하는 동시에, 디테일이 섬세하고 스타일이 일관된 시각적 결과를 출력한다. 또한 다중 모달 반성 메커니즘을 도입하여 생성 결과를 분석하고, 검토하며, 반복적으로 최적화하여 추론과 자기 교정을 이미지 생성 과정에 통합함으로써, 생성과 이해 작업 모두에서 뛰어난 성능을 발휘하며 경량 오픈소스 모델의 새로운 기준을 제시한다.

핵심 기능

• 텍스트-이미지 생성: 사용자는 텍스트 설명을 바탕으로 다양한 장면과 캐릭터의 이미지를 생성할 수 있다. 예를 들어 "왕관을 쓴 고양이가 벨벳 왕좌에 누워 있는 모습", "어둠의 마법사가 오래된 동굴에서 마법을 사용하는 모습" 같은 설명이 가능하다.

• 이미지 편집 기능: 생성된 이미지에 다양한 수정을 지원하며, 의상 색상 변경, 배경 교체, 화면 요소 추가 및 삭제 등의 작업을 할 수 있다.

• 스타일 변환: 이미지를 애니메이션 스타일, 유화 스타일 등 다양한 예술 스타일로 변환할 수 있다.

• 캐릭터 및 장면 합성: 서로 다른 이미지의 캐릭터나 요소를 새로운 장면으로 조합할 수 있다. 예를 들어 "첫 번째 이미지의 소녀와 두 번째 이미지의 소년이 교회에서 결혼식을 올리는 모습"을 만들 수 있다.

특징

• 고품질 출력: 생성된 이미지는 디테일이 풍부하고 시각 효과가 뛰어나다.

• 유연한 편집 능력: 다양한 편집 옵션을 제공하여 사용자가 필요에 따라 이미지를 맞춤 설정할 수 있다.

• 오픈소스 특성: 오픈소스 프로젝트로서 개발자와 연구자에게 더 많은 탐색 및 개발 가능성을 제공한다.

활용 시나리오

• 창의적 디자인: 디자이너는 OmniGen2를 활용하여 디자인 컨셉과 스케치를 빠르게 생성할 수 있다.

• 콘텐츠 제작: 콘텐츠 크리에이터는 이야기 창작, 영상 제작 등 다양한 시나리오에서 사용할 장면과 캐릭터의 이미지를 생성할 수 있다.

• 교육 및 연구: 교육자와 연구자는 다중 모달 생성 기술의 응용을 탐구하기 위한 교육 및 연구 도구로 활용할 수 있다.

활용 사례

• 이미지 생성: 텍스트 설명을 통해 다양한 장면과 캐릭터의 이미지를 생성한다. 예를 들어 "왕관을 쓴 고양이가 벨벳 왕좌에 누워 있는 모습" 같은 묘사가 가능하다.

• 이미지 편집: 생성된 이미지에 의상 색상 변경, 배경 교체 등 다양한 수정 작업을 수행한다.

• 이미지 합성: 서로 다른 이미지의 요소를 새로운 장면으로 조합한다. 예를 들어 "첫 번째 이미지의 소녀와 두 번째 이미지의 소년이 교회에서 결혼하는 모습"을 만들 수 있다.

핵심 문제

1. OmniGen2의 핵심 혁신 포인트는 무엇인가?

OmniGen2의 핵심 혁신은 이중 경로 분리 아키텍처를 채택하여 다중 모달 생성 능력을 통합하고, 다중 모달 반성 메커니즘을 도입하여 출력의 자기 최적화를 구현하며, Omni-RoPE 위치 임베딩을 설계하여 이미지 편집과 맥락 생성의 일관성을 높인 점에 있으며, 이러한 혁신을 통해 경량 오픈소스 모델 중 새로운 기준을树立했다.

2. OmniGen2는 이미지 편집에서 어떤 구체적인 작업을 수행할 수 있는가?

OmniGen2는 이미지 편집에서 객체 처리(예: 인물에게 어부 모자 추가하기, 화면 속 고양이 제거하기 등 객체 추가/삭제), 스타일 변환(예: 배경을 교실 장면으로 변경, 스타일을 지브리 스튜디오 스타일로 변환), 색상 조정(예: 치마 색상을 파란색으로 변경), 표정 수정(예: 인물에게 미소 짓기), 동작 편집(예: 인물이 손을 들어 올리기) 등 다양한 세밀한 작업을 수행할 수 있으며, 동시에 편집되지 않은 영역의 시각적 사실감과 일관성을 유지한다.

3. 다중 모달 반성 메커니즘은 OmniGen2의 생성 품질을 어떻게 향상시키는가?

다중 모달 반성 메커니즘은 OmniGen2가 자신의 출력 결과를 스스로 평가하여, 설명과 이미지 내용이 일치하지 않는 경우(예: "피자 세 개"라고 했는데 이미지에 하나만 있을 때 추가하도록 안내), 색상이나 위치 오류(예: 노란색 브로콜리를 생성했는데 초록색으로 나왔을 때 색상 변경을 안내하거나, 강아지가 노란색 식탁이 아닌 의자 위에 있을 때 위치 조정을 안내) 등의 문제를 식별하고, 반복적인 최적화를 통해 요구 사항에 더 부합하는 결과를 생성함으로써, 출력의 제어성, 신뢰성 및 품질을 강화한다.

프로젝트 홈페이지:https://vectorspacelab.github.io/OmniGen2/

기술 논문:https://github.com/VectorSpaceLab/OmniGen2

온라인 체험:https://huggingface.co/OmniGen2/OmniGen2

참고:Flux.1 Kontext는 독일의 Black Forest Labs가 개발한 이미지 생성 및 편집 도구이다. 텍스트와 이미지 프롬프트를 기반으로 이미지를 생성 및 편집할 수 있으며, 객체 수정, 스타일 변환, 배경 교체, 캐릭터 일관성 유지, 텍스트 편집 등을 지원한다. 기존의 텍스트-이미지 모델과 달리, 맥락 기반 이미지 생성을 지원하여 텍스트와 이미지 프롬프트를 동시에 결합하고, 시각적 개념을 직접 추출 및 수정하여 새로운 일관된 이미지를 생성할 수 있다.