ViDoRAG: 시각 문서 이해를 위한 검색 증강 생성(RAG) 시스템 191

ViDoRAG이란 무엇인가요?

ViDoRAG는 알리바바 통의实验室(Alibaba Tongyi Lab)가 중국 과학기술대학교(USTC) 및 상하이 교통대학교(SJTU)와 공동으로 출시한 시각 문서 이해 검색 증강 생성(RAG) 시스템입니다. 다중 모달 혼합 검색 및 다중 에이전트 반복 추론 메커니즘을 활용하여, 시각 문서 처리의 정확성과 효율성을 모두明显하게 향상시킵니다. 쉽게 말해, 이미지 형식 문서의 검색을 가능하게 하여, 다수의 이미지가 포함된 문서들 속에서 "이 제품의 색깔이 무엇인가" 혹은 "이 문서는 어떤 내용을 다루고 있는가?"와 같은 질문을 할 수 있게 해줍니다.

ViDoRAG 프레임워크

ViDoRAG 프레임워크의 핵심은 다중 에이전트 협업과 동적 반복 추론에 있으며, 주요 구성 요소는 다음과 같습니다.

다중 모달 혼합 검색: 시각 특징과 텍스트 특징을 결합하고, 가우시안 혼합 모델(GMM)을 통해 검색 전략을 동적으로 조정하여 핵심 정보를 보다 정확하게 찾아냅니다.

다중 에이전트 협업:

• Seeker Agent: 관련 이미지 또는 문서 단편을 빠르게 선별하여 전체적인 단서를 제공합니다.

• Inspector Agent: 선별된 결과에 대해 세밀한 검토를 수행하여 초기 답변을 생성합니다.

• Answer Agent: 초기 답변을 통합하고, 정확성과 일관성을 점검한 후 최종 답변을 생성합니다.

동적 검색 전략: GMM을 활용해 검색 결과 수를 동적으로 조절하여 연산량을 줄이고 검색 효율을 높입니다.

기능 특징

1. 다중 모달 혼합 검색:

• 시각 및 텍스트 이중 채널 검색: ViDoRAG는 시각(이미지) 정보와 텍스트 정보를 동시에 처리하여 검색할 수 있으므로, 문서 내용을 보다 포괄적으로 이해합니다.

• 가우시안 혼합 모델(GMM) 융합: GMM을 통해 시각 및 텍스트 검색 결과의 가중치를 동적으로 조정하고, 쿼리 특성에 따라 최적의 검색 전략을 선택하여 노이즈와 연산량을 줄입니다.

2. 다중 에이전트 협업 추론:

• Seeker Agent: 관련 문서 또는 이미지 단편을 빠르게 선별하여 검색 범위를 좁힙니다.

• Inspector Agent: 선별된 단편을 자세히 검토하여 핵심 정보를 추출하고 초기 답변을 생성합니다.

• Answer Agent: 초기 답변을 통합하고 검증하여 최종 답변을 생성합니다.

• 동적 반복 추론:다중 에이전트가 지속적으로 협업하고 반복하여, 점차 더 나은 답변을 만들어냅니다.

3. 동적 검색 전략:

• 적응형 검색 수량 조절: ViDoRAG는 GMM을 통해 검색 결과 수량을 동적으로 조절하여, 고정된 수량의 검색에서 발생하는 문제를 회피합니다.

• 효율적인 검색 프로세스: 쿼리와 문서 집합 간의 유사도 분포에 따라 검색 전략을 자동으로 최적화하여 검색 효율을 높입니다.

4. 복잡한 문서 이해 능력:

• 시각 정보가 풍부한 문서 지원: 텍스트, 차트, 표, 복잡한 레이아웃을 포함하는 문서를 처리할 수 있습니다.

• 다중 홉 추론 능력: 단일 홉 및 다중 홉 추론 작업을 모두 처리할 수 있어, 문서를 넘나드는 이해가 필요한 복잡한 쿼리에도 대응합니다.

5. 높은 정확도와 성능:

• 높은 정확도: ViDoSeek 벤치마크 데이터셋에서 79.4%의 정확도를 달성하여, 다른 베이스라인 방법들보다 훨씬 뛰어난 성능을 보입니다.

• 견고성: 다중 에이전트 협업과 동적 검색 전략 덕분에, 노이즈가 있는 데이터와 복잡한 시나리오를 처리할 때에도 안정적인 성능을 유지합니다.

활용 시나리오

• 시각 문서 처리: 학술 논문, 보고서, 매뉴얼 등 시각 정보가 풍부한 문서를 다루는 상황에 적합합니다.

• 질의응답 시스템: 질의응답 시스템의 핵심 모듈로 활용되어, 빠르고 정확한 답변을 제공할 수 있습니다.

• 스마트 오피스: 사용자가 문서의 핵심 정보를 빠르게 추출하도록 도와 업무 효율성을 높여줍니다.

GitHub 저장소:https://github.com/Alibaba-NLP/ViDoRAG