Asistente de guiones▸ 
Apps AI 
Noticias AI TripoSG: genera modelos 3D de alta detalle a partir de una sola imagen
小编 ·
TripoSG: genera modelos 3D de alta detalle a partir de una sola imagen
¿Qué es TripoSG?
TripoSG es una tecnología de síntesis de formas 3D de alta fidelidad y código abierto desarrollada por el equipo de VAST-ai-Research. Se basa en una arquitectura de flujo corregido a gran escala y un diseño de Transformer de expertos mixtos (MoE), capaz de generar modelos 3D con alto nivel de detalle a partir de una sola imagen de entrada.
Funciones principales de TripoSG
Generación de alta fidelidad: las mallas 3D generadas presentan características geométricas nítidas, detalles de superficie finos y estructuras complejas.
Coherencia semántica: las formas generadas reflejan con precisión la semántica y la apariencia de la imagen de entrada.
Fuerte capacidad de generalización: es capaz de manejar múltiples estilos de entrada, incluidas imágenes fotorrealistas, dibujos animados y bocetos.
Rendimiento robusto: incluso con entradas desafiantes que presentan topologías complejas, crea formas coherentes.
Principio técnico de TripoSG
Transformer de flujo corregido a gran escala: TripoSG aplica por primera vez una arquitectura Transformer basada en Rectified Flow (RF) a la generación de formas 3D. En comparación con los modelos de difusión tradicionales, RF ofrece un modelado de ruta lineal más limpio y directo desde el ruido hasta los datos, lo que contribuye a un entrenamiento más estable y eficiente.
Estrategia de entrenamiento con supervisión mixta: combina la función de distancia con signo (SDF), las normales y la pérdida de Eikonal, lo que mejora significativamente el rendimiento de reconstrucción del autocodificador variacional (VAE) 3D.
Flujo de procesamiento de datos de alta calidad: se ha desarrollado un completo pipeline de construcción y gestión de datos, que incluye puntuación de calidad, filtrado de datos, reparación y aumento, producción de datos SDF, entre otros. Mediante este flujo, se ha construido un conjunto de datos con 2 millones de pares de muestras de entrenamiento «imagen-SDF» de alta calidad.
Arquitectura VAE eficiente: utiliza SDF para la representación geométrica, lo que ofrece mayor precisión en comparación con las cuadrículas de ocupación de vóxeles utilizadas anteriormente.
Modelo Transformer MoE: TripoSG es el primer modelo Transformer MoE publicado en el ámbito 3D.
Escenarios de aplicación de TripoSG
Videojuegos y cine: genera rápidamente activos para juegos o elementos de efectos especiales en 3D, acortando los ciclos de desarrollo.
Industria y comercio electrónico: convierte bocetos o fotos de productos reales en modelos 3D, utilizados para previsualización de productos o展示 virtuales.
Educación y patrimonio cultural: crea modelos didácticos interactivos o digitaliza reliquias culturales, reduciendo la barrera de entrada a la creación de contenido 3D.
Tutorial de uso de TripoSG
1. Instalación:
Clona el repositorio y crea un entorno conda:
git clone https://github.com/VAST-AI-Research/TripoSG.git cd TripoSG conda create -n tripoSG python=3.10 conda activate tripoSG
Instala las dependencias:
pip install torch torchvision --index-url https://download.pytorch.org/whl/{your-cuda-version}
pip install -r requirements.txt2. Inicio rápido: genera una malla 3D a partir de una imagen:
python scripts/inference_triposg.py --image-input assets/example_data/hjswed.png
Enlaces relacionados
Página del proyecto:https://yg256li.github.io/TripoSG-Page/
Código fuente en GitHub:https://github.com/VAST-AI-Research/TripoSG
Modelo en Hugging Face:https://huggingface.co/VAST-AI/TripoSG
Demo en Hugging Face:https://huggingface.co/spaces/VAST-AI/TripoSG
Artículo:https://arxiv.org/abs/2502.06608
