LMArena AI: AI 모델 평가 플랫폼 123

LMArena ai(구 lmsys.org)는 캘리포니아 대학교 버클리 캠퍼스의 SkyLab과 LMSYS 연구 팀이 만든, 군중 기반 AI 벤치마킹에 집중하는 AI 모델 평가 플랫폼입니다. V0이나 Bolt와 유사한 플랫폼이지만, 차이점은 요구 사항을 입력하면 두 모델이 코드를 제공하고 프런트엔드 페이지를 렌더링한 다음 사용자가 점수를 매긴다는 것입니다. 사용자는 이 플랫폼에서 무료로 AI와 채팅하고 투표할 수 있으며, 다양한 AI 채팅 로봇을 비교하고 테스트할 수 있습니다.

LMArena AI 기능 특징:

• 블라인드 테스트 모드: 사용자는 두 개의 익명 AI 모델에 질문을 던진 다음 최선의 답변을 선택하여 평가의 공정성을 보장할 수 있습니다.

• 익명 대전: 사용자는 플랫폼에서 여러 익명 AI 챗봇과 상호 작용하며 질문과 여러 챗봇의 답변을 받을 수 있습니다. 이 방식을 통해 모델의 정체를 알지 못한 채 비교가 가능해 편견을 줄일 수 있습니다.

• 투표 시스템: 사용자는 다양한 AI의 답변에 투표하여 플랫폼이 각 모델의 성능을 평가할 데이터를 수집하도록 도울 수 있습니다. 이러한 군중 소싱 방식은 평가 결과를 더 객관적이고 신뢰성 있게 만듭니다.

• 스타일 제어: 모델이 사용자 지시 사항과 특정 스타일을 준수하여 콘텐츠를 생성하는 능력을 평가합니다.

• 리더보드: LMArena AI는 실시간으로 업데이트되는 리더보드를 제공하여 다양한 AI 모델의 성능을 보여줍니다. 사용자는 특정 작업에서 어떤 모델이 가장 우수한 성과를 보이는지 확인하여 적절한 도구나 서비스를 선택할 수 있습니다.

• WebDev Arena: 이 플랫폼에는 WebDev Arena라는 기능도 확장되어 있어, 사용자는 여기에 요구 사항을 입력하면 시스템이 두 개의 서로 다른 프런트엔드 페이지를 생성하여 사용자가 평가하도록 합니다. 이는 개발자에게 다양한 디자인을 테스트하고 비교할 기회를 제공합니다.

LMArena AI는 멀티모달 기능도 지원하여, 사용자는 첫 질문에서 이미지를 업로드하여 멀티모달 대전을 시작할 수 있습니다. 이는 사용자가 텍스트 모델과 상호 작용할 뿐만 아니라 이미지를 통해 AI와도 소통할 수 있게 해주어 플랫폼의 상호 작용성과 실용성을 높여줍니다. 또한, LMArena AI는 100만 건 이상의 사용자 투표 데이터를 수집하여 100개 이상의 모델에 대한 Elo 리더보드를 산출하며, 사용자는 현재 LLM 챔피언이 누구인지 확인할 수 있습니다.

LMArena AI 사용 방법:

• 웹사이트 방문: lmarena.ai 공식 웹사이트를 엽니다.

• 기능 선택: 필요에 따라 익명 대전 또는 WebDev Arena에 접속하여 선택합니다.

• 질문 또는 요구 사항 입력: 해당 입력란에 질문이나 요구 사항을 입력합니다.

• 결과 확인: 시스템이 여러 AI의 답변을 반환하며, 사용자는 이 답변들을 비교하고 투표할 수 있습니다.

• 투표 참여: 대전이 끝난 후, 사용자는 각 답변을 평가하여 플랫폼의 모델 평가 개선에 기여할 수 있습니다.

중국산 대형 모델인 DeepSeek-R1은 LM Arena 종합 순위에서 3위를 기록했으며, 특히 "Hard Prompts", "Coding", "Math" 같은 기술 영역에서 두드러진 성능을 보였습니다.