Помощник сценариста▸ 
AI Приложения 
AI Новости 
LucidDreamer: генерация 3D-сцен Gaussian Splatting без границ
LucidDreamer: генерация 3D-сцен Gaussian Splatting без границОписание
По мере широкого распространения VR-устройств и контента всё более востребованной становится технология генерации 3D-сцен. Однако существующие модели генерации 3D-сцен ограничивают целевую сцену конкретной предметной областью, главным образом потому, что используемые ими наборы данных 3D-сканирования существенно отличаются от реального мира. Для преодоления этого ограничения мы предлагаем LucidDreamer — универсальный конвейер генерации сцен, который в полной мере использует возможности существующих крупномасштабных диффузионных генеративных моделей.
Адрес проекта LucidDreamer:https://luciddreamer-cvlab.github.io/
Наш LucidDreamer состоит из двух чередующихся шагов: формирования сновидения и выравнивания.
Во-первых, для генерации консистентных изображений с множества точек обзора на основе входных данных мы используем облако точек в качестве геометрического ориентира при каждой генерации изображения. В частности, мы проецируем часть облака точек на требуемую точку обзора и используем эту проекцию в качестве руководства для дорисовывания с помощью генеративной модели. Полученные изображения поднимаются в 3D-пространство с помощью оценённой карты глубины, формируя новую точку.
Во-вторых, для интеграции новых точек в 3D-сцену мы предлагаем алгоритм выравнивания, который гармонично объединяет отдельные части вновь сгенерированной 3D-сцены. Полученная 3D-сцена служит исходными точками для оптимизации гауссова размытия. По сравнению с предыдущими методами генерации 3D-сцен, гауссово размытие, сгенерированное LucidDreamer, обладает высокой детализацией и не ограничено предметной областью целевой сцены.
LucidDreamer может принимать последовательность текстовых подсказок для генерации сцен, обеспечивая детальный контроль.
Количественное сравнение сгенерированных сцен с изображениями, полученными на основе Stable Diffusion с использованием CLIP. Для количественного сравнения результатов мы используем метрики CLIP-Score и CLIP-IQA с RGBD2. Для CLIP-IQA мы применяем критерии качества, яркости цветов и чёткости. LucidDreamer демонстрирует превосходные результаты по всем показателям.
Метрики восстановления гауссова размытия в зависимости от источника начальных точек SfM. Мы используем COLMAP и сравниваем результаты реконструкции. Использование нашего облака точек неизменно показывает лучшие показатели реконструкции.
