Nexus-Gen: GPT-4o에 필적하는 이미지 이해, 생성, 편집 능력을 갖춘 오픈소스 이미지 모델 87

小编 · 2025-05-12

Nexus-Gen은 ModelScope 팀이 오픈소스로 공개한 이미지 모델로, GPT-4o에 필적하는 이미지 이해, 생성, 편집 능력을 갖추고 있습니다. MLLM의 텍스트 모델링과 디퓨전 모델의 이미지 렌더링을 결합하고, 독창적인 고차원 특징 공간 모델링 방식을 채택하여 추론 시 기존 자기회귀 모델이 겪는 오류 누적 문제를 효과적으로 해결합니다. 자기회귀 모델과 디퓨전 모델을 각각 따로 학습시켜 생성 품질이 크게 향상되었으며, 오픈소스 커뮤니티가 제공하는 25M 데이터로 학습되었습니다.

Nexus-Gen: GPT-4o에 필적하는 이미지 이해, 생성, 편집 능력을 갖춘 오픈소스 이미지 모델

Nexus-Gen은 ModelScope 팀이 오픈소스로 공개한 이미지 모델로, 이미지 이해, 생성 및 편집 능력이 GPT-4o와 필적합니다. 이 모델은 MLLM의 텍스트 모델링과 확산 모델의 이미지 렌더링 기술을 융합하고, 고유한 고차원 특징 공간 모델링 방식을 채택하여 전통적인 자기회귀 모델이 추론 시 겪기 쉬운 오류 누적 문제를 효과적으로 해결했습니다. 자기회귀 모델과 확산 모델을 각각 학습시킴으로써 Nexus-Gen의 이미지 생성 품질이 크게 향상되었습니다. 또한 All-to-All 모델의 발전을 촉진하기 위해 오픈소스 커뮤니티에서 제공하는 25M 데이터를 사용해 학습했습니다.

Nexus-Gen：GPT-4o와 필적하는 이미지 이해, 생성 및 편집 능력을 갖춘 오픈소스 올인원 이미지 모델.webp

Nexus-Gen 기능 특징

1. 이미지 이해

정확한 인식 및 분석: Nexus-Gen은 물체, 장면, 텍스트 등 이미지의 다양한 요소를 정확하게 이해할 수 있습니다. 예를 들어 광학 문자 인식(OCR) 작업에서 이미지의 텍스트 내용을 높은 정확도로 인식하고 그 의미를 이해할 수 있습니다.
다양한 분야 적응성: 이 모델은 범용 시각 질의응답, 언어 이해, 개수 세기, 코드 분석, 수학 및 과학 작업 등 여러 분야에서 뛰어난 성능을 보입니다. 예를 들어 시각 질의응답 작업에서 "이미지에 어떤 동물들이 있으며 무엇을 하고 있습니까?"와 같은 복잡한 질문을 이미지 내용에 따라 답할 수 있습니다.
문맥 이해: Nexus-Gen은 이미지 자체에만 집중하지 않고 텍스트 설명과 결합하여 이미지의 문맥을 이해합니다. 예를 들어 설명 문구가 함께 있는 이미지가 주어지면, 텍스트와 이미지를 결합하여 이미지 내용을 더 정확하게 해석할 수 있습니다.

2. 이미지 생성

고품질 이미지 합성: Nexus-Gen은 간단한 물체부터 복잡한 장면까지 고품질 이미지를 생성할 수 있습니다. 예를 들어 "초원을 달리는 골든 리트리버"라는 텍스트 설명에 따라 선명하고 사실적인 이미지를 생성합니다.
창의력과 디테일: 이 모델은 텍스트 프롬프트에 따라 창의력과 디테일이 돋보이는 이미지를 생성할 수 있습니다. 예를 들어 "네온사인이 반짝이고 비행자동차가 오가는 미래 도시의 야경"이라는 설명에 따라 미래지향적이고 과학기술적 느낌의 이미지를 생성합니다.
스타일 기반 생성: Nexus-Gen은 사실적 스타일, 카툰 스타일, 유화 스타일 등 다양한 스타일의 이미지 생성을 지원합니다. 사용자는 스타일을 지정하여 필요한 이미지를 생성할 수 있습니다.

3. 이미지 편집

다양한 편집 작업: Nexus-Gen은 객체 수정, 객체 추가, 객체 제거, 색상 변경 및 스타일 변환 등 다양한 이미지 편집 작업을 지원합니다. 예를 들어 사용자는 "이 사진의 빨간 꽃을 파란색으로 바꾸세요" 또는 "사진에 나비를 추가하세요"와 같이 요청할 수 있습니다.
정밀한 제어: 이 모델은 텍스트 지시에 따라 편집 작업을 정밀하게 수행할 수 있습니다. 예를 들어 사용자가 "이미지의 하늘을 노을 배경으로 바꾸세요"라고 요청하면 Nexus-Gen은 배경을 정확하게 인식하고 교체할 수 있습니다.
다단계 편집 흐름: Nexus-Gen은 복잡한 다단계 편집 작업을 처리할 수 있습니다. 예를 들어 "먼저 이미지의 오래된 자동차를 새 자동차로 바꾸고, 그다음 배경을 도시 거리로 바꾸세요"와 같이 요청하면 순서대로 작업을 완료할 수 있습니다.

Nexus-Gen 활용 시나리오

1. 콘텐츠 제작

창의적 디자인: 디자이너는 계획을 활용해 창의적 이미지를 빠르게 생성하여 디자인의 출발점이나 영감으로 삼을 수 있습니다. 예를 들어 광고 포스터 디자인 시 카피에 따라 초기 시각 효과를 생성할 수 있습니다.
일러스트 및 회화: 예술가는 이 모델을 사용하여 일러스트나 회화의 스케치를 생성하고 이를 기반으로 추가 창작을 할 수 있습니다. 예를 들어 이야기 내용에 따라 일러스트 스케치를 생성하여 제작 시간을 절약할 수 있습니다.

2. 광고 및 마케팅

광고 소재 생성: 광고 회사는 Nexus-Gen을 활용해 광고에 필요한 이미지 소재를 빠르게 생성할 수 있습니다. 예를 들어 광고 카피에 따라 제품 전시 이미지, 장면 이미지 등을 생성합니다.
맞춤형 광고: 사용자의 요구와 선호에 따라 개인화된 광고 이미지를 생성합니다. 예를 들어 사용자의 관심사에 맞게 좋아할 만한 제품 추천 이미지를 생성합니다.

3. 게임 개발

게임 장면 및 캐릭터 생성: 게임 개발자는 Nexus-Gen을 활용해 게임 내 장면과 캐릭터를 생성할 수 있습니다. 예를 들어 게임 시나리오 설명에 따라 게임 맵이나 캐릭터 이미지를 생성합니다.
게임 소재 라이브러리 확장: 다양한 스타일의 건물, 아이템 등 대량의 게임 소재를 빠르게 생성하여 게임 콘텐츠를 풍부하게 합니다.

4. 교육 및 훈련

수업 보조: 교사는 Nexus-Gen을 활용하여 수업에 필요한 이미지를 생성하고 학생들이 강의 내용을 더 잘 이해하도록 도울 수 있습니다. 예를 들어 자연과학 수업에서 동식물 이미지를 생성합니다.
가상 실험실: 가상 실험 장면과 조작 단계의 이미지를 생성하여 학생들이 가상 실험을 수행하도록 돕습니다. 예를 들어 화학 실험 이미지를 생성하여 실험 과정을 보여줍니다.

5. 엔터테인먼트 및 소셜

맞춤형 아바타 및 이미지: 사용자는 자신의 취향에 따라 소셜 미디어에서 사용할 개인화된 아바타나 이미지를 생성할 수 있습니다. 예를 들어 개인의 개성이 드러나는 카툰 아바타를 생성합니다.
창의적 사진 편집: 소셜 미디어에서 창의적인 사진 편집 작품을 공유합니다. 예를 들어 일반 사진을 예술 스타일의 이미지로 편집하여 재미를 더합니다.

설치 및 사용

설치 단계

DiffSynth-Studio 설치: 소스 코드에서 클론하여 설치하며 명령은 git clone https://github.com/modelscope/DiffSynth-Studio.git 이며, 디렉터리로 이동한 후 pip install -e.를 실행합니다.
의존성 설치: pip install -r requirements.txt를 실행합니다.
미세 조정을 수행하려면 ms-swift를 설치합니다: pip install ms-swift -U.
모델 준비: python download_models.py를 실행합니다.