LettuceDetect：高速・低コストで幻觉を精確に特定するRAGシステム向け検出ツール 183

LettuceDetectとは？

LettuceDetectは、検索拡張生成（RAG）システム向けのハルシネーション検出ツールです。回答とコンテキストを比較することで、回答内のサポートされていない部分を特定し、ハルシネーションの内容を検出します。

LettuceDetectの主な特徴

• 既存手法の限界を克服：LettuceDetectは、従来のエンコーダー手法におけるコンテキストウィンドウの制限や、大規模言語モデル（LLM）手法における計算効率の低さといった課題を解決します。

• ModernBERTを採用：本ツールはModernBERTの拡張コンテキスト処理能力（最大8192トークンに対応）を活用し、長文を処理できます。

• 高精度かつ高効率：RAGTruthデータセットで優れた性能を発揮し、サンプルレベルの検出におけるF1スコアが79.22%に達し、これまでの最高モデルLunaを14.8%上回ります。また、単一のGPU上で1秒あたり30〜60サンプルを処理可能です。

• トークンレベルの検出：LettuceDetectはトークン分類に基づくモデルであり、コンテキスト、質問、回答を入力として受け取り、回答内の各トークンがコンテキストによってサポートされているかどうかを一つずつ判定します。

• 推論性能の最適化：より小さなモデルサイズを採用し、推論速度を向上させています。

• 長文コンテキスト処理：本ツールはModernBERTの拡張コンテキスト処理能力（最大8192トークンに対応）を活用し、長文を処理することで、回答がコンテキストにサポートされているかどうかをより正確に判定できます。

技術実装

• 学習と評価：LettuceDetectはRAGTruthデータセット上で学習と評価を行い、ModernBERTを活用して長文コンテキストを処理します。

• モデルとコードのライセンス：MITライセンスで提供されており、モデルとコードは自由に使用でき、Hugging Faceに統合されているため、1行のコードでモデルを読み込むことができます。

LettuceDetectの利用シーン：

• 金融分野：金融コンサルティングや財務分析における誤った情報を検出し、ユーザーの誤誘導を防ぎます。

• 法律分野：法律相談や契約書解釈の正確性を確保し、法的リスクを軽減します。

• 医療・健康：医療相談や診断を支援し、ハルシネーションによる誤診を回避します。

• カスタマーサービス：企業のカスタマーサポートロボットによる回答の正確性を高め、ユーザーからの信頼を強化します。

• 教育分野：個別指導やオンライン学習コンテンツの信頼性を確保します。

• 企業ナレッジマネジメント：社内ナレッジ管理システムからの出力情報の正確性を保証します。

• 高リスク産業：複数の検出手法を組み合わせることで、システム出力の信頼性を向上させます。

GitHubリポジトリ：https://github.com/KRLabsOrg/LettuceDetect