Помощник сценариста▸ 
AI Приложения 
AI Новости 
Marble: мультимодальная 3D-модель мира
Marble: мультимодальная 3D-модель мираОписание
Marble — это мультимодальная 3D-модель мира, разработанная командой World Labs под руководством Фэй-Фэй Ли для создателей контента. Она позволяет создавать 3D-среды, в которых можно перемещаться, редактировать и которые можно скачивать, используя текст, одно или несколько изображений, короткие видео или простые 3D-компоновки, а также управлять камерой и выполнять интерактивное редактирование вплоть до каждого пикселя. В основном применяется в разработке игр, создании спецэффектов для кино, виртуальной реальности и других областях. Главная особенность — созданные 3D-миры сохраняют свой облик и не изменяются произвольно.
Основные функции Marble
Мультимодальная генерация 3D: можно использовать текст, одно изображение, фотографии с разных ракурсов, короткие видео и другие форматы ввода. Например, написав «хоббичья кухня», вы получите полноценную 3D-сцену с деревянной мебелью и медной утварью; загрузив обычное фото комнаты, примерно за 6 минут будет создана панорамная 3D-среда с обзором 360 градусов. Несколько изображений или видео позволяют сделать цифрового двойника сцены более реалистичным. Кроме того, пользователь сначала создаёт 3D-каркас из простых геометрических фигур, а ИИ самостоятельно добавляет освещение, материалы и другие детали.
Гибкое редактирование и расширение: это первая модель со встроенными инструментами редактирования на базе ИИ. Можно изменять только часть сцены или корректировать структуру, например одной фразой убрать мусорный бак из сцены — при этом освещение и тени тоже изменятся. С помощью редактора Chisel можно сначала расставить геометрические фигуры для задания структуры пространства, затем текстом определить стиль, и одна и та же структура с разными подсказками будет превращаться в сцены разных стилей. Также можно добавлять детали по краям сцены или использовать «режим композитинга», чтобы без швов соединять несколько отдельных сцен.
Экспорт в нескольких форматах: результаты можно экспортировать в виде гауссовых облаков точек, треугольных сеток и других форматов. Треугольные сетки, в свою очередь, делятся на низкополигональные коллизионные сетки и высокополигональные сетки для рендеринга, которые можно сразу загружать в профессиональные программы вроде Unity и Unreal Engine. Также можно экспортировать видео с добавлением динамических эффектов на базе ИИ, таких как дым или течение воды. Поддерживаются VR-гарнитуры Apple Vision Pro, Meta Quest 3 и другие — можно сразу создавать VR-приложения.
Экспериментальный 3D-редактор Chisel: сначала из базовых геометрических фигур создаётся пространственный «каркас», затем текстом задаётся общий «стиль», что позволяет разделять работу над структурой и стилем и повторно их использовать.
Расширение и объединение миров: можно одним нажатием добавить детали в выбранную область, а также с помощью режима объединения соединить несколько независимых миров в более крупное пространство.
Типичный рабочий процесс Marble
Сначала выберите способ ввода: текст или одно изображение позволяют быстро получить концепт, а несколько изображений или видео дают более точный и управляемый результат. Для сложных сцен лучше использовать несколько изображений или видео.
Генерация мира: после получения 3D-среды, по которой можно перемещаться, сначала просмотрите в 2D- или 3D-режиме, соответствуют ли перспектива, масштаб и стиль вашим ожиданиям.
Точное редактирование: используйте инструменты ИИ для изменения отдельных фрагментов или добавления недостающих элементов, либо с помощью Chisel перестройте структуру и смените стиль, чтобы структура и внешний вид настраивались независимо друг от друга.
Расширение масштаба: добавляйте детали по краям или в слабых местах, либо используйте режим объединения, чтобы из нескольких небольших миров собрать большое пространство с большим количеством уровней.
Экспорт и внедрение: для демонстрации в высоком качестве используйте гауссово размытие (Gaussian Splatting); для интеграции в игровые или кинодвижки в качестве ассетов используйте сетки; для рекламных роликов или тестовых кадров используйте рендеринг видео с эффектами; для публикации в вебе можно использовать открытый рендерер Spark, совместимый с THREE.js.
Стоимость подписки Marble
Доступно четыре тарифа. Бесплатный — 7000 кредитов в месяц, можно создать не более 4 миров, доступен только базовый ввод в виде текста, изображений и т.п.; стандартный — 20 долларов в месяц, 20 000 кредитов в месяц, можно создать 12 миров, доступен ввод через несколько изображений и видео; профессиональный — 35 долларов в месяц (первый месяц — 1 доллар), 40 000 кредитов в месяц, можно создать 25 миров, разрешено коммерческое использование; флагманский — 95 долларов в месяц, 120 000 кредитов в месяц, можно создать 75 миров, доступны все функции.
Сценарии применения Marble
Разработка игр: быстрое создание прототипов проходимых уровней и атмосферных пространств, ассеты можно интегрировать в популярные движки.
Кинематограф и спецэффекты: предоставление контролируемых 3D-материалов и точных траекторий камеры для тестовых кадров и фоновых сред.
Виртуальная реальность и иммерсивные выставки: создание иммерсивных интерактивных пространств и экспозиций, по которым можно перемещаться.
Моделирование для роботов: создание разнообразных сред для обучения симуляциям, снижение сложности сбора данных.
Преимущества и ограничения Marble
Преимущества: значительно быстрее традиционного моделирования — простые сцены создаются за несколько минут. Голливудские команды используют Marble, чтобы сократить время предварительной визуализации для фильмов с 3 месяцев до 2 дней. Для небольших статичных сцен, таких как комнаты, структура и стиль достаточно стабильны, а качества текстур хватает. Поддержка экспорта в форматы, совместимые с основными инструментами разработки и VR-устройствами, обеспечивает полный цикл от создания до использования.
Ограничения: когда сцена превышает размер комнаты, удалённые участки могут размываться и деформироваться. Объединение нескольких изображений иногда зависает, а успешность создания сложных сцен пока необходимо повышать. На данный момент возможно создание только статичных сцен — без движущихся элементов и физических эффектов, а воспроизведение некоторых сложных требований недостаточно точное.
Marble снижает порог входа для работы с подсказками — обычные пользователи за несколько минут получают 3D-мир, в котором можно перемещаться, редактировать и скачивать его. На данный момент это единственный общедоступный инструмент для «генеративного пространственного интеллекта» производственного уровня.
Связанные материалы:
