Tencent Hunyuan3D: первая открытая 3D-модель с поддержкой text-to-3D и image-to-3D 126

Tencent Hunyuan3D, полное название Hunyuan3D-1.0, — это открытая 3D-модель от Tencent, поддерживающая генерацию как по тексту, так и по изображению, которая решает проблемы существующих 3D-моделей генерации в скорости и возможностях обобщения.

Модель генерации Tencent Hunyuan 3D основана на технологии Diffusion и поддерживает создание 3D-ассетов по тексту и изображениям. Модель оснащена тщательно спроектированными текстовым и графическим кодировщиками, диффузионной моделью и 3D-декодером, что позволяет выполнять генерацию с нескольких ракурсов, реконструкцию и генерацию по одному виду. Большая модель Tencent Hunyuan 3D позволяет быстро создавать качественные 3D-объекты и подходит для множества downstream-приложений.

Технические особенности и инновации Tencent Hunyuan 3D:

Быстрая генерация: облегчённая версия модели способна создавать качественные 3D-ассеты за 10 секунд, поддерживает быстрое создание 3D по одному изображению и выполняет полный цикл генерации end-to-end, включая извлечение mesh и текстур, менее чем за 10 секунд.

Двухэтапный метод генерации: Hunyuan3D-1.0 использует двухшаговый процесс — генерацию с нескольких ракурсов и реконструкцию по нескольким ракурсам. Сначала с помощью многовидовой диффузионной модели синтезируются 6 новых изображений с различных ракурсов, затем эти изображения обрабатываются крупномасштабной моделью реконструкции по разреженным ракурсам на основе Transformer, что в итоге позволяет получить 3D-ассет.

Адаптивная технология CFG: на этапе генерации с нескольких ракурсов за счёт настройки значений classifier-free guidance (CFG) для разных ракурсов и временных шагов обеспечивается близость сгенерированных изображений к входным данным при сохранении разнообразия.

Полная открытость: веса модели, код инференса и алгоритмы полностью открыты, доступны облегчённая и стандартная версии. Облегчённая версия позволяет генерировать 3D-ассеты примерно за 10 секунд на GPU A100, что значительно снижает порог входа в создание 3D-контента.

Мощные возможности обобщения: высокая обобщающая способность и управляемость, возможность реконструкции объектов различного масштаба — от крупных зданий до мелких инструментов и растений, что удовлетворяет разнообразные творческие потребности.

Производительность и применение Tencent Hunyuan 3D:

• Превышение SOTA: в качественных и количественных оценках Hunyuan3D-1.0 превосходит другие открытые модели, особенно в скорости генерации и возможностях обобщения.

• Широкая сфера применения: технология Hunyuan3D уже применена во множестве бизнес-сценариев Tencent, например, скорость реконструкции 3D-эмблем автомобилей в Tencent Картах увеличена на 91%. Кроме того, в Tencent Картах на основе большой модели Hunyuan 3D была запущена функция пользовательских 3D-навигационных эмблем автомобилей, позволяющая пользователям создавать персонализированные 3D-навигационные эмблемы: по сравнению с традиционным решением скорость повысилась на 91%, а также была внедрена функция «3D-фабрика персонажей», поддерживающая создание персонализированных 3D-персонажей и предоставляющая пользователям ещё больше свободы для творчества.

• Влияние на отрасль: открытый код Hunyuan3D-1.0 предоставляет мощный инструмент для разработки игр, кинопроизводства, виртуальной реальности и других областей, способствуя инновациям и применению ai-генерации 3D-контента.

Сценарии применения Tencent Hunyuan 3D:

• Разработка игр: генерация качественных 3D-ассетов игровых персонажей, предметов, зданий и т. д., что значительно повышает эффективность разработки игр.

• Кино и анимация: автоматическая генерация 3D-киноперсонажей и эффектов движений для авторов, помощь в создании анимации.

• Электронная коммерция и реклама: создание 3D-товаров по рекламным креативным концепциям, реализация интерактивных эффектов, повышение креативности рекламного контента.

• Виртуальная реальность (VR)/дополненная реальность (AR): генерация реалистичных элементов 3D-виртуальной среды и интерактивного контента, усиление эффекта погружения.

Большая модель генерации Tencent Hunyuan 3D «Hunyuan3D-1.0» была официально открыта 5 ноября. Эта модель — первая в отрасли открытая большая модель, одновременно поддерживающая генерацию 3D по тексту и изображениям, и предлагает на выбор облегчённую и стандартную версии. Облегчённая версия позволяет создавать качественные 3D-ассеты всего за 10 секунд и подходит для тонкой настройки и развёртывания предприятиями и разработчиками. Hunyuan3D значительно повысит эффективность создания 3D-ассетов и предоставит разработчикам больше возможностей для творчества.

Проект на Github: https://github.com/Tencent/Hunyuan3D-1

Hugging Face: https://huggingface.co/tencent/Hunyuan3D-1

Связанные новости:

Tencent Hunyuan DiT: модель генерации изображений по тексту, выпущенная Tencent