BuboGPT | Gran modelo de ByteDance 146

ByteDance ha lanzado un nuevo modelo grande llamado BuboGPT, BuboGPT es un modelo de lenguaje grande (LLM) avanzado capaz de integrar entradas multimodales como texto, imágenes y audio, y tiene la capacidad única de vincular las respuestas con objetos visuales. Demuestra excelentes capacidades de conversación en la comprensión de datos de imagen y audio arbitrarios, tanto alineados como no alineados.

Mediante descripciones de texto, localización visual y localización de sonido, BuboGPT puede determinar con precisión la fuente de un sonido, y aunque no exista una relación directa entre el audio y la imagen, puede describir de forma razonable la posible relación entre ambos.

En comparación con otros modelos grandes multimodales, BuboGPT aprovecha la rica información y las correspondencias explícitas entre el texto y otras modalidades, ofreciendo una comprensión detallada de los objetos visuales y las modalidades dadas.

Para lograr la comprensión multimodal, BuboGPT utiliza un espacio semántico compartido y construye un pipeline de localización visual que incluye un módulo de marcado, un módulo de localización y un módulo de coincidencia de entidades.

Utilizando el lenguaje como puente, BuboGPT es capaz de conectar objetos visuales con otras modalidades. Los investigadores también demostraron las capacidades de BuboGPT en la descripción de imágenes, la identificación de fuentes de sonido, entre otras, y han publicado el código y los conjuntos de datos como código abierto, además de lanzar un demo interactivo.

Funciones principales de BuboGPT:

1. Comprensión multimodal: BuboGPT implementa la comprensión conjunta multimodal y la funcionalidad de conversación de texto, visión y audio.

2. Vinculación visual: BuboGPT es capaz de asociar con precisión el texto con partes específicas de las imágenes, logrando una vinculación visual detallada.

3. Comprensión de audio: BuboGPT puede describir con precisión cada parte del sonido en un fragmento de audio, incluso cuando algunos fragmentos de audio son demasiado breves para que los humanos los perciban.

4. Comprensión alineada y no alineada: BuboGPT es capaz de manejar pares de audio-imagen coincidentes, logrando una comprensión perfectamente alineada, y puede ofrecer respuestas de alta calidad para cualquier par de audio-imagen.