바이트댄스가 오픈소스로 공개한 InfiniteYou: 인물 일관성을 유지하며 다양한 이미지를 생성하는 FLUX 기반 프레임워크 132

小编 · 2025-03-23

InfiniteYou는 바이트댄스가推出的 강력한 이미지 생성 프레임워크로, FLUX를 기반으로 하며 인물 일관성을 유지하면서 다양한 이미지를 생성합니다. FLUX와 같은 디퓨전 트랜스포머(DiTs) 기술을 활용하여 기존 방법의 신원 유사도 부족, 텍스트-이미지 정렬 불량, 생성 품질 저하 등의 문제를 해결합니다.

바이트댄스가 오픈소스로 공개한 InfiniteYou: 인물 일관성을 유지하며 다양한 이미지를 생성하는 FLUX 기반 프레임워크

InfiniteYou란 무엇인가요?

InfiniteYou는 字节跳动에서 출시한 강력한 이미지 생성 프레임워크로, FLUX를 기반으로 하며, 다양한 이미지를 생성하면서도 인물 일관성을 유지할 수 있습니다. FLUX와 같은 확산 변환기(DiTs) 기술을 통해 기존 방법에서 존재하던 정체성 유사도 부족, 텍스트와 이미지 정렬도 낮음, 생성 품질 저하 등의 문제를 해결합니다.

字节开源InfiniteYou：一种基于FLUX，能够生成各种图像的同时并保持人物一致性.jpg

InfiniteYou 핵심 기능

정체성 보존: InfuseNet 구성 요소를 통해 정체성 특징을 확산 모델에 주입하여, 생성된 이미지의 인물 정체성이 입력 참조 이미지와高度 일치하도록 보장합니다.
고품질 이미지 생성: 대규모 데이터 사전 학습과 합성된 단일 인물 다중 샘플(SPMS) 데이터를 사용한 지도 미세 조정(SFT)을 포함한 다단계 학습 전략을 채택하여, 이미지 품질과 미적 효과를 크게 향상시켰습니다.
유연한 텍스트 기반 제어: 사용자는 자연어 설명을 통해 생성할 이미지의 내용을 맞춤 설정할 수 있으며, 다양한 장면, 스타일 및 세부 묘사를 지원합니다.
플러그 앤 플레이 설계: InfiniteYou는 FLUX의 다양한 변형, ControlNets 및 LoRAs와 같은 다양한 기존 ai 工具 및 프레임워크와 호환되어, 개발자가 확장 및 맞춤 설정하기 편리합니다.

InfiniteYou 핵심 기술

InfuseNet: 잔차 연결(residual connection)을 통해 개인의 정체성 특징을 이미지 생성 모델에 주입하는 혁신적인 구성 요소로, 생성된 이미지가 설명에 부합할 뿐만 아니라 고유한 얼굴 특징까지 보존할 수 있도록 합니다.
다단계 학습 전략: 먼저 대량의 실제 데이터로 사전 학습을 진행하고, 그다음 합성된 단일 인물 다중 샘플 데이터를 활용해 지도 미세 조정을 수행하여 생성 효과를 최적화하고 텍스트-이미지 정렬도를 높입니다.

字节开源InfiniteYou：一种基于FLUX，能够生成各种图像的同时并保持人物一致性.webp

InfiniteYou 활용 시나리오

가상 캐릭터 제작: 가상 소셜, 게임, 가상 회의 등에서 사용할 수 있는 개성 있는 가상 캐릭터를 빠르게 생성하는 데 도움을 줍니다.
개성 있는 프로필 및 소셜 미디어: 사용자는 InfiniteYou를 활용해 다양한 스타일의 개성 있는 프로필 사진을 생성하여, 소셜 미디어에서의 개인화 경험을 높일 수 있습니다.
광고 및 마케팅: 광고주는 InfiniteYou를 활용해 타깃 고객과 유사한 광고 이미지를 제작하여, 광고의 매력도와 전환율을 높일 수 있습니다.
게임 개발: 개발자가 다양한 캐릭터 모델을 빠르게 생성하는 데 도움을 주어, 게임의 몰입감과 재미를 향상시킵니다.
예술 창작: 예술가들이 InfiniteYou를 활용하여 다양한 예술 스타일과 창작 영감을 탐색하고, 독특한 작품을 창작할 수 있습니다.

InfiniteYou 사용 방법

1. 환경 준비

하드웨어 요구 사항:NVIDIA RTX 30 시리즈 이상 등 고성능 GPU 사용을 권장합니다.
소프트웨어 환경:Python(3.8 이상 권장)과 PyTorch 프레임워크를 설치해야 합니다.

2. 설치 단계

코드 저장소 복제:

git clone https://github.com/bytedance/InfiniteYou.git
cd InfiniteYou

의존성 설치:

pip install -r requirements.txt

3. 이미지 생성

생성 스크립트 실행:

python generate.py --prompt "描述文本" --image_path "输入图片路径" --output_path "输出图片路径"

각 항목 설명:

prompt:생성할 이미지의 내용을 정의하기 위한 입력 텍스트 설명입니다.
image_path:정체성 특징을 추출하기 위한 참조 이미지 경로입니다.
output_path:생성된 이미지를 저장할 경로입니다.

예시: 본인 사진이 있고, 바다에서 휴가를 보내는 장면을 생성하고 싶다고 가정해 보겠습니다.

python generate.py --prompt "一个人在海边度假，穿着休闲装，阳光明媚" --image_path "./input.jpg" --output_path "./output.jpg"

실행 후, InfiniteYou는 사용자의 설명과 입력 사진을 바탕으로 요구 사항에 부합하는 이미지를 생성합니다.

결과에 따르면, InfiniteYou는 정체성 충실도, 텍스트 매칭도, 이미지 품질 등 여러 측면에서 PuLID-FLUX, FLUX.1-dev IP-Adapter 같은 기존의 주요 기술들을 능가합니다.