CustomNet_云技派,专注ai人工智能! 147

CustomNet wurde entwickelt, um Bilder bestimmter Objekte besser in neu generierte Bilder zu integrieren und sicherzustellen, dass der ursprüngliche Stil sowie die Texturdetails des Objekts erhalten bleiben. Diese Technologie eröffnet neue Möglichkeiten für die Verschmelzung von Produktbildern.

Im Prozess der Text-zu-Bild-Generierung ist die Einbeziehung benutzerdefinierter Objekte in die Bilderzeugung eine äußerst attraktive Funktion. Allerdings weisen bestehende optimierungsbasierte und encoderbasierte Ansätze Mängel auf, darunter zeitaufwändige Generierungsstunden, unzureichende Identitätserhaltung sowie das häufige Auftreten von Copy-Paste-Effekten.

Um diese Einschränkungen zu überwinden, führen wir CustomNet ein, eine neuartige Objektanpassungsmethode, die die Fähigkeit zur dreidimensionalen Synthese neuer Ansichten explizit in den Objektanpassungsprozess einbezieht. Diese Integration hilft dabei, räumliche Positionsbeziehungen und Blickwinkel anzupassen und gleichzeitig vielfältige Ergebnisse zu erzeugen, wobei die Objektmerkmale effektiv erhalten bleiben.

Darüber hinaus führen wir subtile Designs ein, die durch Textbeschreibungen oder bestimmte benutzerdefinierte Benutzerbilder Positionskontrolle und flexible Hintergrundkontrolle ermöglichen und so die Einschränkungen bestehender dreidimensionaler Methoden zur Synthese neuer Ansichten überwinden. Außerdem nutzen wir zusätzlich eine Datenaufbereitungspipeline, um reale Objekte und komplexe Hintergründe besser verarbeiten zu können.

Mit diesen Designs ermöglicht unsere Methode eine Zero-Shot-Objektanpassung ohne Testzeitoptimierung und bietet gleichzeitig Kontrolle über Position, Blickwinkel und Hintergrund. Dadurch gewährleistet unser CustomNet einen verbesserten Identitätsschutz und erzeugt vielfältige, harmonische Ergebnisse.

CustomNet ermöglicht die gleichzeitige Steuerung von Blickwinkel, Position und Hintergrund innerhalb eines einheitlichen Rahmens und erzielt so eine harmonische, angepasste Bilderzeugung, wobei Objektmerkmale und Texturdetails effektiv bewahrt werden. Die Hintergrundgenerierung kann durch Textbeschreibungen (Branch „Generierung") oder durch ein bestimmtes benutzerdefiniertes Bild (Branch „Komposition") gesteuert werden.