ImmerseGen: фреймворк генерации 3D-сцен от ByteDance и Чжэцзянского университета 63

Что такое ImmerseGen?

ImmerseGen — это фреймворк для генерации 3D-сцен, совместно разработанный ByteDance и Чжэцзянским университетом. Он использует технологии управления агентами и синтеза RGBA-текстур для создания реалистичных VR-сцен на основе текстового описания пользователя, например «создать осенний пейзаж». Особенно хорошо подходит для рендеринга в реальном времени на VR-гарнитурах, значительно снижает зависимость пользователя от сложных ассетов и при этом обеспечивает разнообразие и реалистичность сцен.

Ключевые особенности

• Лёгкость и эффективность: иерархические геометрические агенты и синтез RGBA-текстур обеспечивают высокоэффективное моделирование сцен.

• Автоматическая генерация: сочетание текстур на основе рельефа и визуально-языковой модели (VLM) обеспечивает высокую степень автоматизации при создании VR-сцен.

• Отличное визуальное восприятие: лидирует среди известных технологий по реалистичности, пространственной согласованности и эффективности рендеринга.

• Широкая применимость: подходит для мобильных VR-устройств, предоставляя высококачественные решения для генерации 3D-сцен в смежных областях.

Метод и процесс работы

• Базовый рельеф: на основе пользовательского ввода выполняется поиск базового рельефа, затем синтезируются RGBA-текстуры рельефа и скайбокс с учётом условий рельефа, формируя базовый мир.

• Лёгкие ассеты: с помощью VLM выбираются подходящие шаблоны, формируются промпты для ассетов, определяется их расположение в сцене. Ассеты инстанцируются как alpha-textured через RaystexturedComposite с учётом контекста.

• Мультимодальное усиление погружения: дальнейшее усиление эффекта погружения за счёт динамических визуальных эффектов и окружающего звука.

Примеры применения

• VR и AR: используется в разработке игр, виртуальном туризме, образовании и обучении, обеспечивая быстрое создание сцен и уровней с эффектом погружения.

• Архитектура и недвижимость: применяется для виртуальных просмотров жилья и архитектурного проектирования, помогая клиентам понять 3D-модели и оставить обратную связь.

• Кино и анимация: используется для создания спецэффектов и дизайна сцен, сокращая потребность в съёмках и предоставляя качественные визуальные эффекты.

• Социальные сети и создание контента: предоставляет виртуальные фоны и высококачественные 3D-сцены для видеозвонков, трансляций и создания контента.

• Моделирование и обучение: используется для военной подготовки и медицинского обучения, позволяя разрабатывать реалистичные поля боя и медицинские пространства.

• Розничная торговля и электронная коммерция: генерация виртуальных магазинов и 3D-моделей товаров, улучшающая качество покупок и презентации продуктов.

Часто задаваемые вопросы

1. Как ImmerseGen обеспечивает эффективную генерацию VR-сцен?

Ответ: в три этапа — создание базового мира, проектирование и размещение ассетов с помощью управления агентами, а затем усиление эффекта погружения за счёт динамических эффектов и окружающего звука. Ключевым моментом является замена сложных ассетов на alpha-текстурных агентов, что снижает вычислительную сложность и поддерживает рендеринг в реальном времени на VR-гарнитурах.

2. Какую роль играют агенты ассетов?

Ответ: агенты ассетов на основе визуально-языковой модели (VLM) выбирают подходящие шаблоны, формируют промпты для ассетов, определяют горизонтальные сечения и обеспечивают контекстуальную совместимость, автоматически выполняя проектирование и расстановку ассетов.

3. Какие преимущества ImmerseGen имеет по сравнению с классическими технологиями генерации VR-сцен?

Ответ: классические технологии зависят от сложных 3D-ассетов, тогда как ImmerseGen использует управляемых alpha-текстурных агентов, что значительно снижает зависимость от сложных ассетов. При этом такие методы, как синтез текстур на основе рельефа, обеспечивают реалистичность и разнообразие сцен, поддерживают рендеринг в реальном времени на VR-гарнитурах и повышают плавность пользовательского опыта.

Адрес проекта

https://immersegen.github.io/