Asistente de guiones▸ 
Apps AI 
Noticias AI 
Tencent Hunyuan3D: el primer modelo 3D de código abierto con soporte para texto e imagen
Tencent Hunyuan3D: el primer modelo 3D de código abierto con soporte para texto e imagenIntroducción
Tencent Hunyuan3D, cuyo nombre completo es Hunyuan3D-1.0, es un modelo 3D de código abierto lanzado por Tencent que admite tanto la generación a partir de texto como de imágenes, resolviendo las deficiencias de los modelos de generación 3D existentes en cuanto a velocidad de generación y capacidad de generalización.
El modelo de generación Tencent Hunyuan 3D se basa en la tecnología Diffusion y admite la generación de activos 3D a partir de texto e imágenes. El modelo cuenta con codificadores de texto e imagen cuidadosamente diseñados, un modelo de difusión y un decodificador 3D, capaz de realizar generación multivista, reconstrucción y generación de vista única. El modelo grande Tencent Hunyuan 3D puede generar rápidamente objetos 3D exquisitos, siendo aplicable a una amplia variedad de usos posteriores.
Características técnicas e innovaciones de Tencent Hunyuan 3D:
Generación rápida: la versión light del modelo es capaz de generar activos 3D de alta calidad en 10 segundos, admitiendo la generación rápida de 3D a partir de una sola imagen, completando la generación de extremo a extremo en 10 segundos, incluyendo la extracción de mesh y texture.
Método de generación en dos etapas: Hunyuan3D-1.0 adopta un flujo de dos pasos: generación multivista y reconstrucción multivista. Primero, se sintetizan 6 imágenes nuevas desde diferentes perspectivas mediante un modelo de difusión multivista, y luego se procesan estas imágenes mediante un modelo de reconstrucción a gran escala con vistas dispersas basado en Transformer, generando finalmente el activo 3D.
Tecnología CFG adaptativa: en la etapa de generación multivista, se ajusta el valor de la escala de classifier-free guidance (CFG) para diferentes perspectivas y pasos de tiempo, garantizando que las imágenes generadas sean fieles a la entrada y, al mismo tiempo, diversas.
Código abierto integral: los pesos del modelo, el código de inferencia, los algoritmos, etc., son totalmente abiertos, ofreciendo una versión light y una versión estándar. La versión light puede generar activos 3D en aproximadamente 10 segundos en una GPU A100, lo que reduce enormemente la barrera de entrada para la creación de contenido 3D.
Fuerte capacidad de generalización: con una potente capacidad de generalización y controlabilidad, puede reconstruir objetos de diversas escalas, desde edificios grandes hasta herramientas o flores pequeñas, adaptándose a múltiples necesidades creativas.
Rendimiento y aplicaciones de Tencent Hunyuan 3D:
Supera al SOTA: en las evaluaciones cualitativas y cuantitativas, Hunyuan3D-1.0 supera a otros modelos de código abierto, especialmente en cuanto a velocidad de generación y capacidad de generalización.
Aplicaciones amplias: la tecnología Hunyuan3D ya se ha aplicado en múltiples escenarios de negocio de Tencent, como en Tencent Maps, donde la velocidad de reconstrucción de iconos de coches en 3D ha mejorado un 91%. Además, basándose en el modelo grande Hunyuan3D, Tencent Maps lanzó la función de iconos de coches de navegación 3D personalizados, permitiendo a los usuarios crear iconos de coches de navegación 3D personalizados. En comparación con las soluciones tradicionales, la velocidad se ha incrementado un 91%, y se ha lanzado la función "3D Character Dream Factory", que admite la generación personalizada de personajes 3D, ofreciendo a los usuarios una mayor libertad creativa.
Impacto en la industria: el código abierto de Hunyuan3D-1.0 proporciona una potente herramienta para el desarrollo de videojuegos, la producción cinematográfica y la realidad virtual, promoviendo la innovación y la aplicación de contenido 3D generado por ia.
Escenarios de aplicación de Tencent Hunyuan 3D:
Desarrollo de videojuegos: genera activos 3D de alta calidad como personajes, objetos y edificios, mejorando enormemente la eficiencia del desarrollo de juegos.
Cine y animación: genera automáticamente personajes y acciones 3D para cine y televisión, asistiendo en la creación de animación.
Comercio electrónico y publicidad: genera productos 3D según el tema creativo de la publicidad, logrando efectos especiales interactivos y mejorando la creatividad del contenido publicitario.
Realidad Virtual (VR) / Realidad Aumentada (AR): genera elementos de entornos virtuales 3D realistas y contenido interactivo, mejorando la experiencia inmersiva.
El modelo grande de generación Tencent Hunyuan 3D "Hunyuan3D-1.0" se lanzó oficialmente como código abierto el 5 de noviembre. Es el primer modelo grande de código abierto de la industria que admite simultáneamente la generación de 3D a partir de texto e imágenes, y ofrece dos opciones: versión light y versión estándar. La versión light puede generar activos 3D de alta calidad en solo 10 segundos, siendo adecuada para las necesidades de ajuste fino e implementación de empresas y desarrolladores. Hunyuan3D promoverá enormemente la eficiencia de generación de activos 3D, ofreciendo a los desarrolladores más oportunidades de creación.
Proyecto en Github:https://github.com/Tencent/Hunyuan3D-1
Hugging Face:https://huggingface.co/tencent/Hunyuan3D-1
Noticias relacionadas:
