ByteDance открывает исходный код InfiniteYou: фреймворк генерации изображений на базе FLUX с сохранением идентичности 138

小编 · 2025-03-23

InfiniteYou — мощный фреймворк генерации изображений, выпущенный ByteDance, основанный на FLUX и позволяющий генерировать разнообразные изображения с сохранением идентичности человека. Используя технологии диффузионных трансформеров (DiTs), такие как FLUX, он решает проблемы существующих методов, включая недостаточное сходство идентичности, плохое согласование текста и изображения и низкое качество генерации.

ByteDance открывает исходный код InfiniteYou: фреймворк генерации изображений на базе FLUX с сохранением идентичности

Что такое InfiniteYou?

InfiniteYou — это мощный фреймворк для генерации изображений, представленный ByteDance. Он основан на FLUX и способен генерировать разнообразные изображения, сохраняя при этом единообразие внешности персонажа. Благодаря технологии диффузионных трансформеров (DiTs), такой как FLUX, он решает проблемы существующих методов, включая недостаточное сходство идентичности, плохое соответствие между текстом и изображением, а также низкое качество генерации.

字节开源InfiniteYou：一种基于FLUX，能够生成各种图像的同时并保持人物一致性.jpg

Ключевые функции InfiniteYou

Сохранение идентичности: с помощью компонента InfuseNet характеристики внешности внедряются в диффузионную модель, что обеспечивает высокую степень соответствия личности человека на сгенерированном изображении входному референсному изображению.
Высококачественная генерация изображений: применяется многоэтапная стратегия обучения, включая предварительное обучение и контролируемое дообучение (SFT) на синтетических данных с одним человеком в нескольких позах (SPMS), что значительно повышает качество изображений и их эстетичность.
Гибкое управление через текст: пользователи могут настраивать содержимое генерируемых изображений с помощью описаний на естественном языке, поддерживая описания множества сцен, стилей и деталей.
Модульная архитектура plug-and-play: InfiniteYou совместим с множеством существующих AI-инструментов и фреймворков, таких как различные варианты FLUX, ControlNets и LoRA, что облегчает разработчикам расширение и настройку.

Основные технологии InfiniteYou

InfuseNet: это инновационный компонент, который через остаточные соединения внедряет индивидуальные характеристики внешности в модель генерации изображений, гарантируя, что сгенерированные изображения не только соответствуют описанию, но и сохраняют уникальные черты лица.
Многоэтапная стратегия обучения: модель сначала проходит предварительное обучение на большом объёме реальных данных, а затем дообучается с учителем на синтетических данных с одним человеком в нескольких позах для оптимизации качества генерации и улучшения согласованности между текстом и изображением.

字节开源InfiniteYou：一种基于FLUX，能够生成各种图像的同时并保持人物一致性.webp

Сценарии применения InfiniteYou

Создание виртуальных персонажей: помогает пользователям быстро создавать персонализированных виртуальных персонажей для использования в виртуальных социальных сетях, играх или виртуальных совещаниях.
Персонализированные аватары и социальные сети: пользователи могут использовать InfiniteYou для создания аватаров в различных стилях, повышая персонализацию взаимодействия в социальных сетях.
Реклама и маркетинг: рекламодатели могут использовать InfiniteYou для генерации рекламных изображений, похожих на целевую аудиторию, повышая привлекательность и конверсию рекламы.
Разработка игр: помогает разработчикам быстро создавать разнообразные модели персонажей, повышая уровень погружения и увлекательности игры.
Творчество и искусство: художники могут использовать InfiniteYou для исследования различных художественных стилей и поиска вдохновения, создавая уникальные произведения.

Как пользоваться InfiniteYou

1. Подготовка среды

Требования к оборудованию: рекомендуется использовать высокопроизводительный GPU, например NVIDIA RTX 30-й серии или выше.
Программная среда: необходимы Python (рекомендуется версия 3.8 или выше) и фреймворк PyTorch.

2. Установка

Клонирование репозитория:

git clone https://github.com/bytedance/InfiniteYou.git
cd InfiniteYou

Установка зависимостей:

pip install -r requirements.txt

3. Генерация изображений

Запуск скрипта генерации:

python generate.py --prompt "описание" --image_path "путь_к_входному_изображению" --output_path "путь_к_выходному_изображению"

Где:

prompt: текстовое описание, определяющее содержимое генерируемого изображения.
image_path: путь к входному референсному изображению, используемому для извлечения характеристик внешности.
output_path: путь сохранения сгенерированного изображения.

Пример: допустим, у вас есть своя фотография и вы хотите сгенерировать изображение, на котором вы отдыхаете на морском побережье:

python generate.py --prompt "человек отдыхает на морском побережье, в повседневной одежде, солнечная погода" --image_path "./input.jpg" --output_path "./output.jpg"

После запуска InfiniteYou сгенерирует изображение, соответствующее вашему описанию и входной фотографии.

Результаты показывают, что InfiniteYou превосходит некоторые существующие передовые технологии, такие как PuLID-FLUX и FLUX.1-dev IP-Adapter, по сохранению идентичности, соответствию тексту и качеству изображения.