ClotheDreamer: генерация носимой 3D-одежды из текста 91

ClotheDreamer — это проект виртуальной примерки, который может генерировать носимые 3D-модели одежды из текста. ClotheDreamer создан Шанхайским университетом, Шанхайским транспортным университетом, Фуданьским университетом и лабораторией Tencent YouTu.

Функциональные особенности ClotheDreamer:

• Поддержка пользовательских шаблонов одежды для разнообразной и персонализированной генерации 3D-одежды

• Сгенерированная одежда может адаптироваться к разным типам фигуры и поддерживает автоматическую подгонку

ClotheDreamer — это новая система для генерации одежды на основе текстового описания, которая использует 3D-гауссовы поверхности (3D GS) для моделирования различных геометрических форм одежды.

ClotheDreamer позволяет пользователям генерировать 3D-модели одежды из текстовых описаний, обеспечивая более интуитивный и выразительный процесс дизайна одежды.

ClotheDreamer использует возможности больших языковых моделей и 3D-гауссовых поверхностей для генерации детализированных высококачественных сеток одежды, точно передающих сложные формы и складки.

ClotheDreamer — это инструмент, который позволяет создавать 3D-модели одежды с помощью текстового описания. Вам не нужно использовать сложное программное обеспечение для 3D-моделирования, чтобы самостоятельно проектировать одежду — просто введите описание, и система сгенерирует для вас 3D-модель одежды.

Ключевой инновацией ClotheDreamer является использование 3D-гауссовых поверхностей (3D GS) для представления формы одежды. Гауссовы поверхности — это математический метод описания 3D-форм, позволяющий улавливать сложные детали, такие как складки и драпировки ткани. Объединяя эту технологию 3D-моделирования с мощными языковыми моделями, ClotheDreamer может преобразовать ваши текстовые описания в высокореалистичные 3D-модели одежды.

Это делает процесс дизайна одежды более интуитивным и доступным, поскольку вам не нужны специальные навыки 3D-моделирования. Вы можете просто описать одежду, которую представляете, и ClotheDreamer воплотит её в 3D-формате. Это будет полезно модельерам, 3D-художникам и всем, кто хочет создавать индивидуальные дизайны одежды.

Техническое описание ClotheDreamer

ClotheDreamer использует архитектуру GaussianDreamer: Fast Generation from Text to 3D для генерации 3D-моделей одежды на основе текстовых описаний. Он применяет предварительно обученную языковую модель для кодирования входного текста, который затем используется для управления генерацией 3D-гауссовых поверхностей, представляющих геометрию одежды.

ClotheDreamer обучен на большом наборе данных 3D-моделей одежды с соответствующими текстовыми описаниями. В процессе вывода языковая модель кодирует входной текст, и это представление используется для прогнозирования параметров 3D-гауссовых поверхностей, которые формируют итоговую сетку одежды.

Благодаря использованию 3D-гауссовых поверхностей ClotheDreamer способен улавливать сложную геометрию одежды, включая складки, драпировки и другие сложные детали. Это позволяет системе генерировать высокореалистичные и разнообразные модели одежды, которые точно соответствуют входному текстовому описанию.

Авторы также предложили расширения базовой модели ClotheDreamer, включая LAGA: генерация и кастомизация многослойных 3D-аватаров с помощью текста и DressingCode: авторегрессионное сшивание для генерации одежды из текста, что ещё больше расширяет возможности генерации и кастомизации одежды в системе.

Анализ ограничений ClotheDreamer

Система ClotheDreamer представляет впечатляющий шаг вперёд в области генерации 3D-моделей из текста, демонстрируя потенциал больших языковых моделей и 3D-гауссовых поверхностей для интуитивного дизайна одежды. Возможность преобразования описаний на естественном языке в высококачественные 3D-модели одежды может оказать значительное влияние на моду, 3D-искусство и другие области.

Тем не менее, в работе признаются некоторые ограничения текущего подхода. Система обучена на относительно небольшом наборе данных 3D-моделей одежды, что может ограничивать её способность обобщения на более разнообразные или нетрадиционные стили одежды. Кроме того, представление в виде 3D-гауссовых поверхностей, хотя и эффективно для захвата сложной геометрии, может подходить не для всех типов характеристик одежды, таких как острые заломы или сильно асимметричные формы.

Дальнейшие исследования могут быть направлены на расширение набора данных, улучшение 3D-представления и расширение возможностей системы по обработке более широкого спектра типов и стилей одежды. Как предполагается в связанных работах, интеграция ClotheDreamer с другими инструментами 3D-моделирования или системами генерации аватаров может открыть новые приложения и варианты использования этой технологии.

В целом, ClotheDreamer представляет собой захватывающий шаг на пути к тому, чтобы сделать 3D-дизайн одежды более доступным и интуитивным. По мере развития области генерации 3D-моделей из текста такие системы, как ClotheDreamer, вероятно, станут всё более ценными инструментами для дизайнеров, художников и всех, кто хочет воплотить свои идеи в области одежды в цифровом пространстве.