LettuceDetect: schnelles, kostengünstiges Halluzinationserkennungs-Tool für RAG-Systeme mit präziser Lokalisierung 181

Was ist LettuceDetect?

LettuceDetect ist ein Tool zur Halluzinationserkennung in Retrieval-Augmented-Generation-Systemen (RAG). Es erkennt Halluzinationen, indem es die Antwort mit dem Kontext vergleicht und die nicht durch den Kontext gestützten Teile der Antwort identifiziert.

Kernfunktionen von LettuceDetect

• Löst die Grenzen bestehender Methoden: LettuceDetect behebt die Einschränkungen der Kontextfenster herkömmlicher Encoder-Methoden sowie die geringe Recheneffizienz von Methoden, die auf großen Sprachmodellen (LLMs) basieren.

• Basiert auf ModernBERT: Das Tool nutzt die erweiterte Kontextverarbeitungsfähigkeit von ModernBERT (unterstützt bis zu 8192 Tokens), um lange Texte verarbeiten zu können.

• Hohe Genauigkeit und Effizienz: Es erzielt hervorragende Ergebnisse auf dem RAGTruth-Datensatz mit einem F1-Score von 79,22 % auf Beispielebene, was einer Verbesserung von 14,8 % gegenüber dem bisherigen Spitzenmodell Luna entspricht. Gleichzeitig verarbeitet es auf einer einzelnen GPU 30 bis 60 Beispiele pro Sekunde.

• Token-Ebenen-Erkennung: LettuceDetect ist ein auf Token-Klassifikation basierendes Modell, das Kontext, Frage und Antwort als Eingabe verwendet und für jeden Token der Antwort einzeln beurteilt, ob er durch den Kontext gestützt wird.

• Optimierte Inferenzleistung: Durch eine kleinere Modellgröße wird eine schnellere Inferenz erreicht.

• Verarbeitung langer Kontexte: Das Tool nutzt die erweiterte Kontextverarbeitungsfähigkeit von ModernBERT (unterstützt bis zu 8192 Tokens), um lange Texte zu verarbeiten und genauer zu beurteilen, ob eine Antwort durch den Kontext gestützt wird.

Technische Umsetzung

• Training und Evaluierung: LettuceDetect wird auf dem RAGTruth-Datensatz trainiert und evaluiert und nutzt ModernBERT zur Verarbeitung langer Kontexte.

• Modell- und Code-Lizenz: Verfügbar unter MIT-Lizenz. Modell und Code können frei verwendet werden und sind in Hugging Face integriert, sodass das Modell mit einer einzigen Codezeile geladen werden kann.

Anwendungsbereiche von LettuceDetect:

• Finanzbereich: Erkennung von Fehlinformationen in Finanzberatungen und Finanzanalysen, um Nutzerfehlinformationen zu verhindern.

• Rechtsbereich: Sicherstellung der Genauigkeit von Rechtsberatungen und Vertragsauslegungen, um rechtliche Risiken zu reduzieren.

• Gesundheitswesen: Unterstützung bei medizinischer Beratung und Diagnose, um Fehldiagnosen durch Halluzinationen zu vermeiden.

• Kundenservice: Steigerung der Antwortgenauigkeit von Unternehmens-Chatbots und Erhöhung des Nutzervertrauens.

• Bildungsbereich: Sicherstellung der Zuverlässigkeit von intelligentem Tutoring und Online-Lerninhalten.

• Unternehmens-Wissensmanagement: Gewährleistung genauer Informationen aus internen Wissensmanagementsystemen.

• Hochrisikobranchen: Kombination mehrerer Erkennungsmethoden zur Erhöhung der Vertrauenswürdigkeit von Systemausgaben.

GitHub-Repository:https://github.com/KRLabsOrg/LettuceDetect