LettuceDetect : outil rapide et économique de détection d'hallucinations pour les systèmes RAG, avec localisation précise 184

Qu'est-ce que LettuceDetect ?

LettuceDetect est un outil de détection d'hallucinations pour les systèmes de génération augmentée par récupération (RAG). Il identifie les passages non étayés dans une réponse en la comparant au contexte, permettant ainsi de détecter le contenu hallucinatoire.

Caractéristiques principales de LettuceDetect

• Résolution des limites des méthodes existantes : LettuceDetect surmonte les contraintes de fenêtre de contexte des méthodes d'encodeur traditionnelles ainsi que le manque d'efficacité de calcul des méthodes basées sur les grands modèles de langage (LLM).

• Basé sur ModernBERT : l'outil exploite les capacités étendues de traitement de contexte de ModernBERT (jusqu'à 8 192 tokens), ce qui lui permet de traiter des textes longs.

• Haute précision et efficacité : il obtient d'excellents résultats sur le jeu de données RAGTruth, atteignant un score F1 de 79,22 % au niveau de l'exemple pour la détection, soit une amélioration de 14,8 % par rapport au précédent modèle de pointe, Luna. Parallèlement, il peut traiter de 30 à 60 échantillons par seconde sur un seul GPU.

• Détection au niveau des tokens : LettuceDetect est un modèle basé sur la classification de tokens. Il prend en entrée le contexte, la question et la réponse, puis détermine token par token si chaque élément de la réponse est étayé par le contexte.

• Performance d'inférence optimisée : grâce à une taille de modèle plus réduite, il offre une vitesse d'inférence plus rapide.

• Traitement de contexte long : l'outil tire parti des capacités étendues de traitement de contexte de ModernBERT (jusqu'à 8 192 tokens) pour gérer des textes longs, permettant ainsi de juger plus précisément si une réponse est soutenue par le contexte.

Implémentation technique

• Entraînement et évaluation : LettuceDetect est entraîné et évalué sur le jeu de données RAGTruth, en s'appuyant sur ModernBERT pour la gestion de contexte long.

• Licence du modèle et du code : distribué sous licence MIT, le modèle et le code peuvent être utilisés librement. Il est également intégré à Hugging Face, ce qui permet de charger le modèle en une seule ligne de code.

Cas d'utilisation de LettuceDetect :

• Secteur financier : détection des informations erronées dans le conseil financier et l'analyse financière, afin d'éviter d'induire les utilisateurs en erreur.

• Domaine juridique : garantir l'exactitude du conseil juridique et de l'interprétation des contrats, afin de réduire les risques juridiques.

• Santé et médical : accompagner les consultations et diagnostics médicaux, afin d'éviter les erreurs de diagnostic causées par des hallucinations.

• Service client : améliorer la précision des réponses des robots de service client des entreprises et renforcer la confiance des utilisateurs.

• Secteur de l'éducation : garantir la fiabilité du tutorat intelligent et des contenus d'apprentissage en ligne.

• Gestion des connaissances en entreprise : assurer l'exactitude des informations fournies par les systèmes internes de gestion des connaissances.

• Secteurs à haut risque : combiner plusieurs méthodes de détection pour renforcer la fiabilité des sorties du système.

Dépôt GitHub :https://github.com/KRLabsOrg/LettuceDetect