BuboGPT | Большая модель ByteDance 151

ByteDance представила новую большую модель под названием BuboGPT. BuboGPT — это передовая большая языковая модель (LLM), способная интегрировать текстовые, визуальные и аудио мультимодальные входные данные и обладающая уникальной возможностью сопоставлять ответы с визуальными объектами. Она демонстрирует выдающиеся диалоговые способности в понимании как согласованных, так и несогласованных данных изображений и аудио.

С помощью текстового описания, визуальной локализации и звуковой локализации BuboGPT может точно определять источник звука и, даже если между аудио и изображением нет прямой связи, разумно описывать возможные взаимосвязи между ними.

По сравнению с другими мультимодальными большими моделями, BuboGPT использует богатую информацию и явные соответствия между текстом и другими модальностями, обеспечивая детальное понимание визуальных объектов и заданных модальностей.

Для реализации мультимодального понимания BuboGPT использует общее семантическое пространство и строит конвейер визуальной локализации, который включает модуль маркировки, модуль локализации и модуль сопоставления сущностей.

Используя язык в качестве моста, BuboGPT способен связывать визуальные объекты с другими модальностями. Исследователи также продемонстрировали возможности BuboGPT в описании изображений, распознавании источников звука и других задачах, открыли исходный код и наборы данных, а также опубликовали интерактивное демо.

Основные функции BuboGPT:

1. Мультимодальное понимание: BuboGPT обеспечивает совместное мультимодальное понимание текста, визуальной и аудио информации, а также ведение диалога.

2. Визуальное сопоставление: BuboGPT способен точно связывать текст с определёнными частями изображения, обеспечивая детальное визуальное сопоставление.

3. Понимание аудио: BuboGPT может точно описывать отдельные звуковые фрагменты в аудиозаписи, даже если некоторые из них слишком коротки для восприятия человеком.

4. Согласованное и несогласованное понимание: BuboGPT способен обрабатывать согласованные пары аудио-изображение, обеспечивая идеальное согласованное понимание, и формировать высококачественные ответы для произвольных пар аудио-изображение.