UniversalRAG: 모달리티 간 검색을 위한 새로운 프레임워크 65

UniversalRAG이란 무엇인가요?

UniversalRAG는 텍스트, 이미지, 비디오 등 다양한 유형의 콘텐츠를 검색할 수 있는 새로운 유형의 검색 증강 생성(Retrieval-Augmented Generation, RAG) 프레임워크입니다. 또한 필요에 따라 단락, 문서, 비디오 클립 또는 전체 비디오 등 다양한 크기의 정보 청크를 선택할 수 있습니다. 이 프레임워크에는 쿼리의 요구 사항에 따라 가장 적합한 콘텐츠 유형을 자동으로 선택하여 특정 유형에 편향되지 않도록 하는 "모달리티 인식 라우터"가 포함되어 있습니다. 또한 다양한 작업의 요구에 따라 검색 효과를 최적화하기 위해 훈련이 필요한지 여부를 유연하게 선택할 수 있습니다. 테스트 결과, UniversalRAG는 여러 테스트 시나리오에서 기존 시스템보다 더 나은 성능을 보였으며, 검색 결과가 더 정확하고 효과적이었습니다.

핵심 특징

• 모달리티 인식 라우팅 메커니즘:기존 RAG 방식은 일반적으로 모든 모달리티의 데이터를 하나의 통합된 표현 공간에 강제로 임베딩하는데, 이는 "모달리티 갭" 문제를 야기하여 검색이 쿼리와 동일한 모달리티의 콘텐츠 쪽으로 편향되게 만듭니다. UniversalRAG는 모달리티 인식 라우팅 메커니즘을 도입하여 가장 적합한 모달리티별 코퍼스를 동적으로 식별하고 그 안에서针对性的 검색을 수행합니다.

• 다중 세분성 검색:모달리티 차이 외에도, UniversalRAG는 데이터의 세분성(즉, 코퍼스 내 각 항목의 크기 또는 단위)도 고려합니다. 각 모달리티를 여러 세분성 수준으로细分합니다. 예를 들어 텍스트는 단락 수준과 문서 수준으로, 비디오는 짧은 클립과 전체 비디오로 나뉩니다. 이러한 설계는 쿼리의 복잡성과 범위에 따라 세밀한 검색을 가능하게 합니다.

• 다중 모달리티 지원:UniversalRAG는 텍스트, 이미지, 비디오 등 다양한 모달리티의 검색을 지원하며, 쿼리의 요구 사항에 따라 가장 적합한 모달리티를 동적으로 선택할 수 있습니다.

주요 목표

• 다중 모달리티 지식 검색: 모든 모달리티를 통합된 표현 공간에 강제로 포함시켜 발생하는 모달리티 갭 문제를 방지하는 모달리티 인식 라우팅 메커니즘을 설계하며, 가장 적합한 모달리티별 코퍼스를 동적으로 식별하고针对性的 검색을 수행할 수 있습니다.

• 다중 세분성 지식 통합: 각 모달리티를 단락 수준, 문서 수준, 이미지 수준, 클립 수준, 비디오 수준 등 여러 세분성 수준으로 구성하여 쿼리의 복잡성과 범위에 따라 검색을 微調할 수 있으며, 다양한 쿼리 요구 사항에 보다 유연하게 적응할 수 있습니다.

연구 방법

• 모달리티 인식 라우팅 메커니즘:각 모달리티의 독립적인 임베딩 공간을 유지하고 라우팅 모듈을 도입합니다. 이 모듈은 쿼리의 모달리티 요구 사항에 따라 가장 적합한 모달리티별 코퍼스를 동적으로 선택하여 모달리티 갭을 방지합니다.

• 다중 세분성 코퍼스 구축:데이터의 세분성을 고려하여 각 모달리티를 여러 세분성 수준으로 구성함으로써, 시스템이 쿼리의 복잡성과 범위에 따라 적절한 세분성의 지식 소스를 선택하여 보다 정확하고 포괄적인 답변을 제공할 수 있도록 합니다.

• 라우팅 모듈 구현:

• 훈련 없는 라우팅: 사전 훈련된 대규모 언어 모델(예: GPT-4o)의 지식과 추론 능력을 활용하며, 지시와 컨텍스트 예시를 제공하여 쿼리를 분류하고 검색 유형을 선택합니다. 추가 훈련이 필요하지 않지만, 사전 훈련된 모델의 편향과 지식 경계에 제한을 받을 수 있습니다.

• 훈련 기반 라우팅: 훈련 데이터셋을 구성하여 라우팅 모듈을 훈련시켜, 주어진 쿼리에 대한 최적의 검색 유형을 보다 정확하게 예측할 수 있도록 하며, 특정 작업과 데이터셋 요구 사항에 더 잘 적응합니다.

실험 설정 및 결과

실험 설정

• 다양한 모달리티(텍스트, 이미지, 비디오)와 검색 설정을 다루는 여러 벤치마크 데이터셋에서 실험을 수행하고, 여러 대규모 시각语言 모델(LVLMs)을 생성기로 사용하며, 비교를 위한 여러 基线方法을 설정했습니다.

실험 결과

• UniversalRAG는 모든 벤치마크 데이터셋에서 모든 基线方法보다 평균 점수가 뛰어나며, 다중 모달리티 지식이 필요한 쿼리에서 특히 두드러진 성능을 보입니다.

• 훈련 기반 라우팅 모델이 라우팅 모듈 성능 면에서 훈련 없는 라우팅 모델보다 우수하지만, 훈련 없는 라우팅 모델도 여전히 다른 基线方法보다 우수하여, UniversalRAG 프레임워크 내에서 제로샷 라우팅이 효과적임을 보여줍니다.

• 다양한 세분성의 텍스트 및 비디오 코퍼스를 지원하면 UniversalRAG의 성능이 현저히 향상됩니다. 세분성 제어가 없는 모델에 비해 쿼리에 따라 적절한 세분성 수준을 선택하여 보다 정확한 답변을 생성할 수 있습니다.

• 교차 도메인 데이터셋에서 GPT-4o는 훈련 없는 라우팅 모델 중 가장 높은 라우팅 정확도와 평균 질의응답 점수를 보였으며, 훈련 기반 라우팅 모델은 훈련 데이터 내 쿼리의 다양성 부족으로 과적합 문제가 존재했습니다. 훈련 기반 라우팅과 훈련 없는 라우팅의 장점을 결합한 앙상블 라우팅 방법을 도입함으로써, 교차 도메인 데이터셋에서 더 나은 성능을 달성했습니다.

장점

• 사실 정확성 향상: 다양한 모달리티와 세분성의 지식 소스에서 정보를 검색함으로써, UniversalRAG는 모델의 응답을 보다 포괄적으로 지원할 수 있으며, 단일 모달리티 또는 세분성 부족으로 인한 오류를 줄입니다.

• 유연성: 이 프레임워크는 간단한 사실적 질문부터 복잡한 분석적 질문까지 다양한 유형의 쿼리를 유연하게 처리할 수 있습니다.

• 확장성: 라우팅 로직을 확장함으로써, UniversalRAG는 기존의 모달리티별 검색기를 수정할 필요 없이 새로운 모달리티를 원활하게 통합할 수 있습니다.

프로젝트 홈페이지:https://universalrag.github.io/

논문:https://arxiv.org/abs/2504.20734