ByteDance veröffentlicht InfiniteYou als Open Source: Ein Framework zur Bildgenerierung auf Basis von FLUX mit Identitätserhalt 131

小编 · 2025-03-23

InfiniteYou ist ein leistungsstarkes Bildgenerierungs-Framework von ByteDance, das auf FLUX basiert und verschiedene Bilder unter Wahrung der Identitätskonsistenz erzeugt. Durch den Einsatz von Diffusion-Transformer-Techniken (DiTs) wie FLUX adressiert es Probleme bestehender Methoden, darunter unzureichende Identitätsähnlichkeit, schlechte Text-Bild-Ausrichtung und geringe Generierungsqualität.

ByteDance veröffentlicht InfiniteYou als Open Source: Ein Framework zur Bildgenerierung auf Basis von FLUX mit Identitätserhalt

Was ist InfiniteYou?

InfiniteYou ist ein leistungsstarkes Bildgenerierungsframework, das von ByteDance veröffentlicht wurde. Es basiert auf FLUX und kann verschiedene Bilder erzeugen, während die Konsistenz der Personen gewahrt bleibt. Durch den Einsatz von Diffusion Transformer (DiTs)-Technologie, wie z. B. FLUX, werden Probleme bestehender Methoden behoben, darunter unzureichende Identitätsähnlichkeit, schlechte Abstimmung von Text und Bild sowie geringe Generierungsqualität.

字节开源InfiniteYou：一种基于FLUX，能够生成各种图像的同时并保持人物一致性.jpg

Kernfunktionen von InfiniteYou

Identitätserhaltung: Über die InfuseNet-Komponente werden Identitätsmerkmale in das Diffusionsmodell eingebracht, sodass die Identität der Person im erzeugten Bild weitgehend mit dem Referenzbild übereinstimmt.
Hochwertige Bildgenerierung: Durch eine mehrstufige Trainingsstrategie, die ein Vortraining und ein überwachtes Feintuning (SFT) mit synthetischen Single-Person-Multi-Sample-Daten (SPMS) umfasst, werden Bildqualität und Ästhetik deutlich verbessert.
Flexible Textsteuerung: Nutzer können den Inhalt der erzeugten Bilder über natürlichsprachliche Beschreibungen individuell anpassen, wobei verschiedene Szenen, Stile und Details unterstützt werden.
Plug-and-Play-Design: InfiniteYou ist mit einer Vielzahl bestehender KI-Tools und Frameworks kompatibel, etwa mit verschiedenen FLUX-Varianten, ControlNets und LoRAs, was Entwicklern einfache Erweiterung und Anpassung ermöglicht.

Kerntechnologien von InfiniteYou

InfuseNet: Dies ist eine innovative Komponente, die über Residualverbindungen persönliche Identitätsmerkmale in das Bildgenerierungsmodell einspeist. So entsprechen die erzeugten Bilder nicht nur der Beschreibung, sondern bewahren auch individuelle Gesichtszüge.
Mehrstufige Trainingsstrategie: Das Modell wird zunächst auf einer großen Menge realer Daten vortrainiert und anschließend mithilfe synthetischer Single-Person-Multi-Sample-Daten überwacht feinjustiert, um die Generierungsergebnisse sowie die Abstimmung zwischen Text und Bild zu optimieren.

字节开源InfiniteYou：一种基于FLUX，能够生成各种图像的同时并保持人物一致性.webp

Anwendungsszenarien für InfiniteYou

Erstellung virtueller Charaktere: Hilft Nutzern, schnell personalisierte virtuelle Charaktere für virtuelle Sozialnetze, Spiele oder virtuelle Meetings zu erstellen.
Personalisierte Avatare und soziale Medien: Nutzer können mit InfiniteYou Avatare in verschiedenen Stilen erzeugen und so das personalisierte Erlebnis in sozialen Medien bereichern.
Werbung und Marketing: Werbetreibende können mit InfiniteYou Werbebilder erzeugen, die der Zielgruppe ähneln, und so Attraktivität sowie Conversion-Rate steigern.
Spieleentwicklung: Unterstützt Entwickler dabei, vielfältige Charakter-Modelle schnell zu generieren und das Eintauchen sowie den Spielspaß zu verbessern.
Künstlerisches Schaffen: Künstler können mit InfiniteYou verschiedene Kunststile und kreative Inspirationen erkunden und einzigartige Werke schaffen.

Verwendung von InfiniteYou

1. Vorbereitung der Umgebung

Hardwareanforderungen: Es wird eine leistungsstarke GPU empfohlen, z. B. NVIDIA RTX 30er-Serie oder höher.
Softwareumgebung: Python (empfohlen 3.8 oder höher) und das PyTorch-Framework sind erforderlich.

2. Installationsschritte

Repository klonen:

git clone https://github.com/bytedance/InfiniteYou.git
cd InfiniteYou

Abhängigkeiten installieren:

pip install -r requirements.txt

3. Bildgenerierung

Generierungsskript ausführen:

python generate.py --prompt "描述文本" --image_path "输入图片路径" --output_path "输出图片路径"

Wobei:

prompt: Die eingegebene Textbeschreibung, die den Inhalt des zu erzeugenden Bildes definiert.
image_path: Der Pfad zum Referenzbild, aus dem Identitätsmerkmale extrahiert werden.
output_path: Der Speicherpfad für das erzeugte Bild.

Beispiel: Angenommen, du hast ein Foto von dir und möchtest ein Bild erzeugen, das dich im Urlaub am Strand zeigt:

python generate.py --prompt "一个人在海边度假，穿着休闲装，阳光明媚" --image_path "./input.jpg" --output_path "./output.jpg"

Nach dem Lauf erzeugt InfiniteYou basierend auf deiner Beschreibung und dem eingegebenen Foto ein Bild, das den Anforderungen entspricht.

Die Ergebnisse zeigen, dass InfiniteYou in Bezug auf Identitätstreue, Textabstimmung und Bildqualität einige aktuelle führende Techniken übertrifft, wie z. B. PuLID-FLUX und FLUX.1-dev IP-Adapter.