LettuceDetect: herramienta rápida y económica para detectar alucinaciones en sistemas RAG con localización precisa 188

¿Qué es LettuceDetect?

LettuceDetect es una herramienta de detección de alucinaciones para sistemas de generación aumentada por recuperación (RAG) que identifica las partes no respaldadas de una respuesta comparándola con el contexto, detectando así contenido alucinado.

Características principales de LettuceDetect

• Solución a las limitaciones de los métodos existentes: LettuceDetect aborda las limitaciones de ventana de contexto de los métodos tradicionales basados en codificadores y la ineficiencia computacional de los métodos basados en modelos de lenguaje grandes (LLM).

• Basado en ModernBERT: la herramienta aprovecha la capacidad de procesamiento de contexto extendido de ModernBERT (admite hasta 8192 tokens), lo que le permite manejar textos largos.

• Alta precisión y eficiencia: destaca en el conjunto de datos RAGTruth, alcanzando una puntuación F1 del 79,22 % en la detección a nivel de ejemplo, un 14,8 % superior a la del anterior mejor modelo, Luna. Además, puede procesar entre 30 y 60 muestras por segundo en una sola GPU.

• Detección a nivel de token: LettuceDetect es un modelo basado en clasificación de tokens que toma como entrada el contexto, la pregunta y la respuesta, y determina token a token si cada uno de los tokens de la respuesta está respaldado por el contexto.

• Rendimiento de inferencia optimizado: utiliza un tamaño de modelo más pequeño para lograr una velocidad de inferencia más rápida.

• Procesamiento de contexto largo: la herramienta aprovecha la capacidad de procesamiento de contexto extendido de ModernBERT (admite hasta 8192 tokens), lo que le permite manejar textos largos y determinar con mayor precisión si una respuesta está respaldada por el contexto.

Implementación técnica

• Entrenamiento y evaluación: LettuceDetect se entrena y evalúa en el conjunto de datos RAGTruth, utilizando ModernBERT para el procesamiento de contexto largo.

• Licencia del modelo y del código: se ofrece bajo licencia MIT, el modelo y el código se pueden usar libremente y ya están integrados en Hugging Face, lo que permite cargar el modelo con una sola línea de código.

Escenarios de aplicación de LettuceDetect:

• Sector financiero: detección de información errónea en asesoría financiera y análisis financiero, evitando que los usuarios sean engañados.

• Sector legal: garantiza la precisión en asesoría jurídica e interpretación de contratos, reduciendo los riesgos legales.

• Salud médica: ayuda en la asesoría médica y el diagnóstico, evitando diagnósticos erróneos causados por alucinaciones.

• Atención al cliente: mejora la precisión de las respuestas de los robots de atención al cliente de las empresas, aumentando la confianza de los usuarios.

• Sector educativo: garantiza la fiabilidad de los contenidos de tutoría inteligente y aprendizaje en línea.

• Gestión del conocimiento corporativo: asegura la precisión de la información generada por los sistemas internos de gestión del conocimiento.

• Industrias de alto riesgo: combina múltiples métodos de detección para mejorar la confiabilidad de los resultados del sistema.

Repositorio de GitHub:https://github.com/KRLabsOrg/LettuceDetect