BuboGPT | 바이트대 모델 148

바이트댄스가 새로운 대규모 모델인 BuboGPT를 출시했습니다. BuboGPT는 텍스트, 이미지, 오디오 등 다양한 모달리티 입력을 통합할 수 있는 고급 대형 언어 모델(LLM)로, 응답을 시각적 객체와 연결하는 독특한 능력을 갖추고 있습니다. 정렬되었거나 정렬되지 않은 임의의 이미지-오디오 데이터 이해 측면에서 뛰어난 대화 능력을 보여줍니다.

텍스트 설명, 이미지 위치 파악, 소리 위치 파악을 통해 BuboGPT는 오디오와 이미지 사이에 직접적인 연관성이 없더라도 소리의 출처를 정확하게 판단하고 두 요소 사이의 가능한 관계를 합리적으로 설명할 수 있습니다.

다른 멀티모달 대규모 모델과 비교했을 때, BuboGPT는 텍스트와 다른 모달리티 사이의 풍부한 정보와 명확한 대응 관계를 활용하여 시각적 객체 및 주어진 모달리티에 대한 세밀한 이해를 제공합니다.

멀티모달 이해를 실현하기 위해 BuboGPT는 공유 의미 공간을 사용하며, 표시 모듈, 위치 지정 모듈, 엔터티 매칭 모듈로 구성된 시각적 위치 지정 파이프라인을 구축합니다.

언어를 다리 삼아 BuboGPT는 시각적 객체를 다른 모달리티와 연결할 수 있습니다. 연구팀은 BuboGPT가 이미지 설명, 소리 출처 식별 등에서 보이는 능력도 시연했으며, 코드와 데이터셋을 오픈소스로 공개하고 직접 체험할 수 있는 데모도 출시했습니다.

BuboGPT 핵심 기능:

1. 멀티모달 이해: BuboGPT는 텍스트, 시각, 오디오의 결합된 멀티모달 이해 및 대화 기능을 구현합니다.

2. 시각적 연결: BuboGPT는 텍스트를 이미지의 특정 부분과 정확하게 연관시켜 세밀한 시각적 연결을 실현합니다.

3. 오디오 이해: BuboGPT는 일부 오디오片段이 인간에게 너무 짧게 느껴져 알아차리기 어려운 경우에도 오디오片段 내 각 소리 부분을 정확하게 설명할 수 있습니다.

4. 정렬 및 비정렬 이해: BuboGPT는 매칭되는 오디오-이미지 쌍을 처리하여 완벽한 정렬 이해를 실현할 수 있으며, 임의의 오디오-이미지 쌍에 대해서도 고품질 응답을 생성할 수 있습니다.