LMArena AI: Plattform zur Bewertung von KI-Modellen 125

LMArena ai, ehemals lmsys.org, ist eine KI-Modellbewertungsplattform, die sich auf Crowdsourcing-basierte KI-Benchmarks spezialisiert hat und von den Forschungsgruppen SkyLab und LMSYS der University of California, Berkeley entwickelt wurde. Ähnlich wie Plattformen wie V0 oder Bolt, mit dem Unterschied, dass nach der Eingabe einer Anforderung zwei Modelle Code generieren und die Frontend-Seite rendern, die Sie dann bewerten können. Nutzer können auf dieser Plattform kostenlos mit KI chatten und abstimmen sowie verschiedene KI-Chat-Bots vergleichen und testen.

Funktionsmerkmale von LMArena AI:

• Blindtest-Modus: Nutzer können anonymen KI-Modellen Fragen stellen und dann die beste Antwort auswählen, um eine faire Bewertung sicherzustellen.

• Anonyme Duelle: Nutzer können auf der Plattform mit mehreren anonymen KI-Chatbots interagieren, Fragen stellen und Antworten von verschiedenen Bots erhalten. Dieser Ansatz ermöglicht es den Nutzern, Vergleiche ohne Kenntnis der Modellidentität durchzuführen, wodurch Verzerrungen reduziert werden.

• Abstimmungssystem: Nutzer können über die Antworten verschiedener KIs abstimmen und so der Plattform helfen, Daten zur Bewertung der Leistung der einzelnen Modelle zu sammeln. Dieser Crowdsourcing-Ansatz macht die Bewertungsergebnisse objektiver und zuverlässiger.

• Stilsteuerung: Bewertung der Fähigkeit von Modellen, Benutzeranweisungen zu befolgen und Inhalte in einem bestimmten Stil zu generieren.

• Bestenliste: LMArena AI bietet eine in Echtzeit aktualisierte Bestenliste, die die Leistung verschiedener KI-Modelle zeigt. Nutzer können sehen, welche Modelle bei bestimmten Aufgaben am besten abschneiden, und so die passenden Tools oder Dienste auswählen.

• WebDev Arena: Die Plattform hat außerdem eine Funktion namens WebDev Arena erweitert, in der Nutzer Anforderungen eingeben können und das System zwei verschiedene Frontend-Seiten zur Bewertung generiert. Dies bietet Entwicklern die Möglichkeit, verschiedene Designs zu testen und zu vergleichen.

LMArena AI unterstützt auch multimodale Funktionen: Nutzer können bei ihrer ersten Frage Bilder hochladen, um multimodale Duelle freizuschalten. Das bedeutet, dass Nutzer nicht nur mit Textmodellen interagieren, sondern auch über Bilder mit der KI kommunizieren können, was die Interaktivität und den Nutzen der Plattform erhöht. Darüber hinaus hat LMArena AI über 1 Million Nutzerabstimmungen gesammelt, um die Elo-Bestenliste für mehr als 100 Modelle zu berechnen, sodass Nutzer sehen können, wer der aktuelle LLM-Champion ist.

Anleitung zur Nutzung von LMArena AI:

• Website besuchen: Öffnen Sie die offizielle Website lmarena.ai.

• Funktion auswählen: Wählen Sie je nach Bedarf anonyme Duelle oder den Zugriff auf WebDev Arena.

• Frage oder Anforderung eingeben: Geben Sie Ihre Frage oder Anforderung in das entsprechende Eingabefeld ein.

• Ergebnisse ansehen: Das System gibt mehrere KI-Antworten zurück, die Nutzer vergleichen und bewerten können.

• Abstimmen: Nach Abschluss des Duells können Nutzer die einzelnen Antworten bewerten und so der Plattform helfen, die Modellevaluierung zu verbessern.

Unser einheimisches Großmodell DeepSeek-R1 belegt auf der Gesamtbestenliste von LM Arena den dritten Platz und zeichnet sich besonders in technischen Bereichen wie „Hard Prompts“, „Coding“ und „Math“ aus.