CustomNet_云技派,专注ai人工智能! 151

CustomNet предназначен для более эффективного встраивания изображений заданных объектов в новые генерируемые изображения и обеспечивает сохранение стиля и текстурных деталей исходного объекта. Эта технология дарит новую надежду в области интеграции изображений товаров.

В процессе генерации изображений по тексту включение пользовательских объектов в генерацию является крайне привлекательной функцией. Однако существующие методы на основе оптимизации и на основе энкодеров имеют ряд недостатков, таких как длительное время оптимизации, недостаточное сохранение идентичности объекта и широко распространённый эффект «копирования-вставки».

Чтобы преодолеть эти ограничения, мы представляем CustomNet — новый метод кастомизации объектов, который явно включает возможности трёхмерного синтеза новых видов в процесс кастомизации объектов. Такая интеграция помогает корректировать пространственные взаимоотношения и точки обзора, обеспечивая эффективное сохранение характеристик объекта при одновременном создании разнообразных результатов.

Кроме того, мы представили продуманные конструктивные решения, обеспечивающие управление расположением и гибкое управление фоном с помощью текстовых описаний или заданных пользовательских изображений, что преодолевает ограничения существующих методов трёхмерного синтеза новых видов. Мы также дополнительно задействовали конвейер построения наборов данных для более качественной обработки реальных объектов и сложных фонов.

Благодаря этим решениям наш метод обеспечивает кастомизацию объектов в режиме zero-shot без необходимости оптимизации во время тестирования, одновременно предоставляя контроль над расположением, точкой обзора и фоном. Таким образом, наша CustomNet гарантирует улучшенное сохранение идентичности и создаёт разнообразные, гармоничные результаты.

CustomNet позволяет одновременно управлять точкой обзора, расположением и фоном в едином фреймворке, обеспечивая при этом эффективное сохранение характеристик и текстурных деталей объекта и создавая гармоничные кастомизированные изображения. Генерация фона может управляться с помощью текстового описания (ветвь «генерация») или путём предоставления заданного пользовательского изображения (ветвь «композиция»).