LettuceDetect: 빠르고 저비용, 정확한 위치 파악이 가능한 RAG 시스템 환각 탐지 도구 186

小编 · 2025-03-07

LettuceDetect는 검색 증강 생성(RAG) 시스템을 위한 환각 탐지 도구입니다. 답변과 컨텍스트를 비교하여 답변 중 지원되지 않는 부분을 식별함으로써 환각 콘텐츠를 탐지합니다.

LettuceDetect: 빠르고 저비용, 정확한 위치 파악이 가능한 RAG 시스템 환각 탐지 도구

LettuceDetect는 검색 증강 생성(RAG) 시스템의 환각(hallucination)을 탐지하기 위한 도구로, 답변과 문맥(context)을 비교하여 답변 중 문맥에 의해 뒷받침되지 않는 부분을 식별함으로써 환각 콘텐츠를 탐지합니다.

기존 방법의 한계 해결: LettuceDetect는 전통적인 인코더 방식의 문맥 창(context window) 제한과 대규모 언어 모델(LLM) 기반 방식의 낮은 계산 효율성 문제를 해결합니다.
ModernBERT 기반: 이 도구는 ModernBERT의 확장된 문맥 처리 능력(최대 8192개 토큰 지원)을 활용하여 긴 텍스트를 처리할 수 있습니다.
높은 정확도와 효율성: RAGTruth 데이터셋에서 뛰어난 성능을 보이며, 샘플 단위 탐지에서 F1 점수 79.22%를 달성하여 이전 최고 모델인 Luna보다 14.8% 향상되었습니다. 동시에 단일 GPU에서 초당 30~60개의 샘플을 처리할 수 있습니다.
토큰 단위 탐지: LettuceDetect는 토큰 분류 기반 모델로, 문맥, 질문, 답변을 입력으로 받아 답변의 각 토큰이 문맥에 의해 뒷받침되는지 하나씩 판단합니다.
최적화된 추론 성능: 더 작은 모델 크기를 채택하여 더 빠른 추론 속도를 구현합니다.
긴 문맥 처리: 이 도구는 ModernBERT의 확장된 문맥 처리 능력(최대 8192개 토큰 지원)을 활용하여 긴 텍스트를 처리할 수 있으므로, 답변이 문맥에 의해 뒷받침되는지 더 정확하게 판단할 수 있습니다.

학습 및 평가: LettuceDetect는 RAGTruth 데이터셋에서 학습 및 평가를 수행하며, 긴 문맥 처리를 위해 ModernBERT를 활용합니다.
모델 및 코드 라이선스: MIT 라이선스를 제공하여 모델과 코드를 자유롭게 사용할 수 있으며, Hugging Face에 통합되어 한 줄의 코드로 모델을 로드할 수 있습니다.

LettuceDetect기술구현.webp