Помощник сценариста▸ 
AI Приложения 
AI Новости TripoSG: генерация высокодетализированных 3D-моделей из одного изображения
小编 ·
TripoSG: генерация высокодетализированных 3D-моделей из одного изображения
Что такое TripoSG?
TripoSG — это открытая технология высокоточного синтеза 3D-форм, разработанная командой VAST-ai-Research. Она основана на архитектуре крупномасштабного корректирующего потока (Rectified Flow) и конструкции Transformer со смесью экспертов (Mixture of Experts) и способна генерировать высокодетализированные 3D-модели по одному входному изображению.
Основные возможности TripoSG
Высокоточный синтез: генерируемые 3D-сетки обладают чёткими геометрическими признаками, тонкими деталями поверхности и сложной структурой.
Семантическая согласованность: генерируемые формы точно отражают семантику и внешний вид входного изображения.
Сильная способность к обобщению: способна обрабатывать входные данные в различных стилях, включая фотореалистичные изображения, мультипликацию и эскизы.
Надёжная производительность: позволяет создавать связные формы даже для сложных входных данных с комплексной топологией.
Технические принципы TripoSG
Крупномасштабный трансформер с корректирующим потоком: TripoSG впервые применяет архитектуру Transformer на основе корректирующего потока (Rectified Flow, RF) для генерации 3D-форм. По сравнению с традиционными диффузионными моделями RF обеспечивает более простое и линейное моделирование пути от шума к данным, что способствует более стабильному и эффективному обучению.
Стратегия смешанного обучения с учителем: сочетание функций знакового расстояния (SDF), нормалей и потерь Eikonal значительно повышает производительность реконструкции 3D-вариационного автокодировщика (VAE).
Высококачественный конвейер обработки данных: разработан полный конвейер построения и управления данными, включающий оценку качества, фильтрацию данных, исправление и аугментацию, производство SDF-данных и другие этапы. С его помощью создан набор данных из 2 миллионов высококачественных пар «изображение–SDF» для обучения.
Эффективная архитектура VAE: использование SDF для представления геометрии обеспечивает более высокую точность по сравнению с ранее применявшимися воксельными сетками занятости.
MoE-модель Transformer: TripoSG — первая опубликованная в области 3D модель Transformer со смесью экспертов (MoE).
Сценарии применения TripoSG
Игры и кино: быстрое создание игровых ассетов или элементов 3D-спецэффектов, сокращение цикла разработки.
Промышленность и электронная коммерция: преобразование эскизов или фотографий реальных объектов в 3D-модели для предварительного просмотра продукции или виртуальных презентаций.
Образование и культурное наследие: создание интерактивных учебных моделей или оцифрованных памятников культуры, снижение порога входа в создание 3D-контента.
Руководство по использованию TripoSG
1. Установка:
Клонируйте репозиторий и создайте окружение conda:
git clone https://github.com/VAST-AI-Research/TripoSG.git cd TripoSG conda create -n tripoSG python=3.10 conda activate tripoSG
Установите зависимости:
pip install torch torchvision --index-url https://download.pytorch.org/whl/{your-cuda-version}
pip install -r requirements.txt2. Быстрый старт: генерация 3D-сетки по изображению:
python scripts/inference_triposg.py --image-input assets/example_data/hjswed.png
Полезные ссылки
Страница проекта: https://yg256li.github.io/TripoSG-Page/
Исходный код на GitHub: https://github.com/VAST-AI-Research/TripoSG
Модель на Hugging Face: https://huggingface.co/VAST-AI/TripoSG
Демо на Hugging Face: https://huggingface.co/spaces/VAST-AI/TripoSG
Статья: https://arxiv.org/abs/2502.06608
