BuboGPT | Grand modèle de ByteDance 149

ByteDance a lancé un nouveau grand modèle nommé BuboGPT. BuboGPT est un modèle de langage avancé (LLM) capable d'intégrer des entrées multimodales telles que le texte, les images et l'audio, et possède la capacité unique de relier ses réponses à des objets visuels. Il démontre d'excellentes capacités de dialogue dans la compréhension de données image-audio alignées ou non alignées.

Grâce à la description textuelle, à la localisation d'images et à la localisation sonore, BuboGPT peut déterminer avec précision la source d'un son, et même en l'absence de relation directe entre l'audio et l'image, il peut raisonnablement décrire la relation possible entre les deux.

Comparé aux autres grands modèles multimodaux, BuboGPT exploite les informations riches et les correspondances explicites entre le texte et les autres modalités, offrant ainsi une compréhension fine des objets visuels et des modalités données.

Pour réaliser la compréhension multimodale, BuboGPT utilise un espace sémantique partagé et construit un pipeline de localisation visuelle comprenant un module de marquage, un module de localisation et un module de mise en correspondance d'entités.

Grâce au langage comme pont, BuboGPT est capable de relier les objets visuels aux autres modalités. Les chercheurs ont également démontré les capacités de BuboGPT dans la description d'images, l'identification des sources sonores, etc., et ont open source le code et les jeux de données, en publiant une démo jouable.

Fonctionnalités principales de BuboGPT :

1. Compréhension multimodale : BuboGPT permet la compréhension et le dialogue multimodaux conjoints du texte, de la vision et de l'audio.

2. Alignement visuel : BuboGPT est capable d'associer avec précision le texte à des parties spécifiques d'une image, réalisant ainsi un alignement visuel à grain fin.

3. Compréhension audio : BuboGPT est capable de décrire avec précision les différentes composantes sonores d'un extrait audio, même lorsque certains extraits audio sont trop brefs pour être perçus par l'oreille humaine.

4. Compréhension alignée et non alignée : BuboGPT est capable de traiter des paires audio-image appariées pour une compréhension parfaitement alignée, et peut fournir des réponses de haute qualité pour des paires audio-image arbitraires.