LettuceDetect: быстрый и недорогой инструмент обнаружения галлюцинаций для RAG-систем с точной локализацией 182

小编 · 2025-03-07

LettuceDetect — инструмент обнаружения галлюцинаций для систем Retrieval-Augmented Generation (RAG). Он выявляет галлюцинации, сравнивая ответы с контекстом и точно определяя неподдерживаемые части ответа.

LettuceDetect: быстрый и недорогой инструмент обнаружения галлюцинаций для RAG-систем с точной локализацией

Что такое LettuceDetect?

LettuceDetect — это инструмент для обнаружения галлюцинаций в системах retrieval-augmented generation (RAG), который выявляет неподтверждённые фрагменты в ответах путём сравнения ответов с контекстом, тем самым обнаруживая галлюцинации.

Ключевые особенности LettuceDetect

Устранение ограничений существующих методов: LettuceDetect решает проблему ограниченного контекстного окна традиционных методов на основе энкодеров и низкую вычислительную эффективность методов, основанных на больших языковых моделях (LLM).
На базе ModernBERT: инструмент использует расширенные возможности обработки контекста ModernBERT (поддержка до 8192 токенов), что позволяет работать с длинными текстами.
Высокая точность и эффективность: он демонстрирует выдающиеся результаты на датасете RAGTruth, достигая F1-score 79,22% на уровне примеров, что на 14,8% превосходит предыдущую лучшую модель Luna. При этом он способен обрабатывать от 30 до 60 примеров в секунду на одном GPU.
Обнаружение на уровне токенов: LettuceDetect — это модель классификации токенов, которая принимает на вход контекст, вопрос и ответ и для каждого токена ответа определяет, поддерживается ли он контекстом.
Оптимизированная производительность вывода: использование модели меньшего размера обеспечивает более быстрый вывод.
Обработка длинного контекста: инструмент использует расширенные возможности обработки контекста ModernBERT (поддержка до 8192 токенов), что позволяет обрабатывать длинные тексты и более точно определять, поддерживается ли ответ контекстом.

Техническая реализация

Обучение и оценка: LettuceDetect обучается и оценивается на датасете RAGTruth с использованием ModernBERT для обработки длинного контекста.
Лицензия модели и кода: предоставляется под лицензией MIT, модель и код можно свободно использовать, а интеграция с Hugging Face позволяет загрузить модель одной строкой кода.

LettuceDetect技术实现.webp

Сценарии применения LettuceDetect:

Финансовая сфера: обнаружение недостоверной информации в финансовых консультациях и финансовом анализе, предотвращение введения пользователей в заблуждение.
Юридическая сфера: обеспечение точности юридических консультаций и толкования договоров, снижение юридических рисков.
Здравоохранение: помощь в медицинских консультациях и диагностике, предотвращение ошибочных диагнозов из-за галлюцинаций.
Обслуживание клиентов: повышение точности ответов корпоративных чат-ботов и укрепление доверия пользователей.
Образовательная сфера: обеспечение достоверности контента интеллектуального репетиторства и онлайн-обучения.
Управление корпоративными знаниями: гарантия точности информации, выдаваемой внутренними системами управления знаниями.
Высокорисковые отрасли: сочетание нескольких методов обнаружения для повышения достоверности выходных данных системы.

Репозиторий на GitHub:https://github.com/KRLabsOrg/LettuceDetect