TRELLIS 3D: создание 3D-моделей по изображению или текстовому описанию 81

Что такое TRELLIS 3D

TRELLIS 3D — это открытая модель генерации 3D-контента, разработанная совместно Microsoft Research Asia, Университетом Цинхуа и Университетом науки и технологий Китая. Благодаря технологии SLAT она способна создавать качественные 3D-модели directly из одного 2D-изображения или текстового описания.

Модель TRELLIS 3D содержит 4 миллиарда параметров и основана на новом представлении O-Voxel, обеспечивающем 16-кратное сжатие пространства. Она позволяет получить текстурированную модель с разрешением 512³ всего за 3 секунды.

Основные особенности TRELLIS 3D

• Высокая скорость генерации: на H100 разрешение 512³ создаётся за 3 секунды, 1024³ — примерно за 17 секунд, а 1536³ — около 1 минуты

• Высокое разрешение: доступны варианты от 512³ до 1536³ при впечатляющей степени сжатия

• Работа с любыми формами: в отличие от традиционных методов, ограниченных только замкнутыми моделями, поддерживаются открытые поверхности (одежда, листва) и даже объекты с внутренней структурой

• Полноценная система материалов: поддерживается весь PBR-конвейер — базовый цвет, шероховатость, металличность, прозрачность

• Широкая поддержка форматов: экспорт в популярные форматы — GLB, OBJ, STL, GLTF, USDZ, PLY, 3D Gaussian

• Два способа ввода: генерация 3D как по изображению, так и по тексту

• Возможность локального редактирования: после генерации можно добавлять, удалять или изменять отдельные участки

• Простой рабочий процесс: преобразование текстурированного меша в O-Voxel занимает менее 10 секунд на CPU, обратное преобразование — 100 мс на CUDA

Сценарии применения TRELLIS 3D

• Разработка игр: быстрое создание реквизита для сцен и персонажей без необходимости моделирования с нуля

• Кино и анимация: удобное создание активов для спецэффектов и предварительных моделей

• VR/AR: генерация реалистичных виртуальных объектов для повышения иммерсивности

• Промышленный дизайн: быстрое прототипирование изделий для проверки проектных решений

• Электронная коммерция: создание интерактивных 3D-демонстраций товаров

• 3D-печать: прямая генерация файлов моделей, готовых к печати

• Образование и наука: использование в качестве инструмента для генерации 3D-данных

Анализ достоинств и недостатков TRELLIS 3D

Сильные стороны

• Действительно высокое качество: 4 миллиарда параметров в сочетании с разреженным 3D VAE обеспечивают отличную детализацию и точность

• Непревзойдённая скорость: модель создаётся за 3 секунды — значительно быстрее традиционного моделирования

• Минимум ограничений по топологии: справляется со сложной геометрией, включая открытые поверхности и внутренние структуры

• Продуманная система материалов: полноценный PBR-пайплайн с поддержкой эффектов прозрачности

• Полностью открытый исходный код: лицензия MIT, допускается коммерческое использование

• Умеренные требования к оборудованию: достаточно 16 ГБ видеопамяти, поддерживаются RTX 3090/4090

Слабые стороны

• Требовательна к оборудованию: для максимальной скорости генерации необходима топовая карта уровня H100; на обычных видеокартах процесс будет значительно медленнее

• Ограничения в сложных деталях: генерация черт лица и мелких текстур (например, верёвок) пока не идеальна

• Высокая стоимость обучения: крупномасштабное предобучение требует огромных объёмов 3D-данных, самостоятельное обучение с нуля обходится очень дорого

• При увеличении остаётся низкополигональной: краевые детали при приближении выглядят несколько грубовато — по сути это всё ещё lowpoly-модель

Инструкция по использованию TRELLIS 3D

1. Перейдите непосредственно на официальный сайт TRELLIS 3D

2. Загрузите изображение в формате JPG/PNG (рекомендуется разрешение от 1920×1080)

3. Нажмите «Создать» и через несколько секунд получите 3D-модель

4. Если результат устраивает, скачайте файл в формате GLB или любом другом

Часто задаваемые вопросы

• Генерация в TRELLIS 3D слишком медленная?

  Убедитесь, что включено ускорение CUDA; рекомендуется RTX 4090 или выше; снижение разрешения ускоряет процесс.

• Закончилась видеопамять?

  Установка переменной окружения PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True позволяет сэкономить видеопамять.

• Эффект прозрачности не отображается?

  Формат GLB по умолчанию непрозрачный — в 3D-редакторе необходимо вручную подключить альфа-канал текстуры к прозрачности.

• Детали недостаточно чёткие?

  Попробуйте разрешение 1024³ или 1536³; для особо сложных структур у технологии пока есть предел.

• Какие форматы изображений поддерживаются?

  Поддерживаются JPG, PNG, WEBP; изображения с альфа-каналом используются как маски.

• Можно ли использовать в коммерческих целях?

  Да, код распространяется под лицензией MIT, однако учитывайте, что зависимости (например, nvdiffrast) могут иметь собственные лицензии.

• Хотите выполнить дообучение самостоятельно?

  TRELLIS.2 предоставляет полный код для обучения; с помощью train.py можно выполнить дообучение или обучение с нуля.

Связанные материалы:

AI-генерация 3D-моделей