Neural4D 2o: первая в мире мультимодальная крупная 3D-модель AIGC от DreamTech 164

Что такое Neural4D 2o?

Neural4D 2o — это первая в мире мультимодальная 3D модель, представленная компанией DreamTech, которая поддерживает мультимодальное взаимодействие и обеспечивает редактирование 3D с помощью текста, изображений и команд на естественном языке. Модель обладает возможностями высокоточного локального редактирования, сохранения идентичности персонажа и переноса стиля, что повышает эффективность 3D-дизайна и упрощает процесс модификации традиционных моделей. К недостаткам можно отнести довольно длительное время ожидания отклика при взаимодействии.

Ключевые функции Neural4D 2o

• Мультимодальное взаимодействие: Neural4D 2o поддерживает ввод текста и изображений и обеспечивает интерактивное редактирование в реальном времени на основе команд на естественном языке. Пользователи могут с помощью простых текстовых подсказок или загрузки изображений генерировать и редактировать 3D-контент.

• Высокоточное локальное редактирование и сохранение идентичности персонажа: модель не только поддерживает высокоточное локальное редактирование, но и стабильно сохраняет идентичность персонажа, позволяя выполнять сложные операции, такие как смена одежды и перенос стиля. Например, пользователь может загрузить изображение персонажа, ввести подсказку, чтобы модель сгенерировала полноценный Q-версионный образ персонажа, а затем попросить сменить одежду или изменить позу.

• Генерация с разделением на компоненты и возможностью сборки: Neural4D 2o предлагает совершенно новый подход к 3D-генерации со сборкой — 3D Assembly Generation, который имитирует реальную 3D-топологию и подход дизайнеров, создающих модели по частям. Модель создаётся по компонентам, которые можно собирать. Например, персонаж разбирается на 3D-структуру из головы, тела, одежды и т. д., при этом голова, в свою очередь, может быть разделена на волосы, черты лица и другие 3D-компоненты.

Техническая архитектура Neural4D 2o

Neural4D 2o использует совместное обучение на модальностях текста, изображений, 3D, motion и т. д., формируя единый transformer encoder и 3D DiT decoder. Такая архитектура обеспечивает модели стабильное и согласованное понимание контекста при выполнении задач.

Сценарии применения Neural4D 2o

• 3D-дизайн и моделирование: Neural4D 2o позволяет даже непрофессиональным пользователям легко справляться со сложными задачами 3D-дизайна. Ранее 3D-модели, сгенерированные ИИ, в основном могли использоваться только как концептуальный дизайн или черновая модель, которую необходимо было импортировать в профессиональное ПО и значительно дорабатывать. С Neural4D 2o пользователи могут получить навыки моделирования, сопоставимые с уровнем профессионального 3D-дизайнера, просто с помощью диалога на естественном языке.

• Разработка игр и создание анимации: модель позволяет быстро создавать и анимировать 3D-персонажей и объекты для видеоигр, а также оперативно генерировать анимационный контент для фильмов, рекламы или онлайн-видео.

• VR-приложения и иммерсивный опыт: Neural4D 2o также может применяться для проектирования интерактивных 3D-сред и персонажей для VR-приложений.

• Визуализация продуктов и 3D-печать: пользователи могут превращать простые текстовые описания или изображения непосредственно в 3D-модели для маркетинга, электронной коммерции или 3D-печати.

Преимущества и недостатки

• Преимущества: Neural4D 2o демонстрирует высокую степень зрелости в таких аспектах, как стабильность, контекстная согласованность, локальное редактирование и сохранение идентичности персонажа. Кроме того, модель поддерживает протокол MCP, и на её основе уже запущен Neural4D Agent (альфа-версия), который предоставляет пользователям более интеллектуальный, удобный и качественный опыт создания 3D-контента.

• Недостатки: в настоящее время Neural4D 2o имеет довольно длительное время отклика при взаимодействии — в среднем ожидание составляет от 2 до 5 минут. Кроме того, пользователи иногда сталкиваются с очередями, что, вероятно, связано с тем, что серверные ресурсы пока не успевают за быстро растущим спросом.

Тестовая ссылка:https://www.neural4d.com/n4d-2o

О компании DreamTech

DreamTech специализируется на технологиях 3D AI и стремится повышать качество пользовательского опыта для создателей и потребителей контента AIGC по всему миру с помощью инновационных продуктов и сервисов. Наше видение — использовать передовые технологии ИИ для создания бесшовного, интерактивного в реальном времени 4D-пространственного опыта, интегрированного с реальным миром, и путём моделирования сложности и многообразия реального мира достичь универсального искусственного интеллекта (AGI).

DreamTech обладает командой ведущих мировых экспертов в области 3D-реконструкции, генерации и рендеринга. Компания самостоятельно разработала универсальную крупную генеративную 3D-модель, обладающую возможностями text-to-3D, image-to-3D и др., которая широко применяется в AR, VR, играх, 3D-дизайне, 3D-печати, рекламе, производстве анимации, кинопроизводстве, индустриальном моделировании и других сценариях.