Zero123: генерация качественного 3D по одному изображению 137

Сегодня мы выпустили стабильную версию Zero123 — модели, обученной нами для генерации изображений с учётом точки обзора. По сравнению с предыдущей самой современной моделью Zero123-XL, стабильная Zero123 демонстрирует значительно улучшенные результаты. Это было достигнуто благодаря трём ключевым инновациям:

1. Улучшенный обучающий набор данных, в котором из Objaverse была проведена тщательная фильтрация с оставлением только высококачественных 3D-объектов, а рендеринг объектов стал более реалистичным по сравнению с предыдущими методами.

2. В процессе обучения и инференса мы предоставили модели оценку углов камеры. Эта корректировка высоты позволяет ей делать более обоснованные и качественные прогнозы.

3. Предварительно вычисленный набор данных (предварительно вычисленные латентные переменные) и улучшенный загрузчик данных поддерживают больший размер батча, что в сочетании с первой инновацией обеспечивает 40-кратное повышение эффективности обучения по сравнению с Zero123-XL.

Особенности Zero123:

Стабильная Zero123 способна генерировать новые ракурсы объектов, демонстрируя трёхмерное понимание внешнего вида объекта с различных углов. Благодаря улучшенному обучающему набору данных и условию высоты качество значительно превосходит Zero1-to-3 или Zero123-XL.

Модель основана на Stable Diffusion 1.5 и потребляет столько же VRAM, сколько SD1.5, для генерации 1 нового ракурса. Для генерации 3D-объектов с помощью Stable Zero123 требуется больше времени и памяти (рекомендуется 24 ГБ VRAM).

Для поддержки открытых исследований в области генерации 3D-объектов мы улучшили открытый исходный код Threestudio, чтобы обеспечить поддержку Zero123 и Stable Zero123. Упрощённая версия пайплайна Stable 3D в настоящее время находится на этапе закрытого предварительного доступа. С технической точки зрения он использует сэмплирование дистилляции оценок (SDS) для оптимизации NeRF с помощью модели Stable Zero123, из которой позднее можно создавать текстурированные 3D-сетки. Этот процесс можно адаптировать для генерации текст-в-3D: сначала с помощью SDXL создаётся отдельное изображение, а затем с помощью Stable Zero123 генерируется 3D-объект.

Проект Zero123: https://github.com/cvlab-columbia/zero123

Демо Zero123: https://huggingface.co/spaces/cvlab/zero123-live

Статья Zero123: https://arxiv.org/abs/2303.11328

Модель уже доступна на Hugging Face, где исследователи и пользователи, не связанные с коммерческой деятельностью, могут загрузить её и провести эксперименты.