Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena

https://arxiv.org/abs/2306.05685

Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena

 

LLM을 평가자로 사용하면 개방형, 멀티턴 대화에서 인간 선호도를 비교적 정확하게 근사할 수 있다! 

 

• 사용자의 복잡한 지시를 얼마나 잘 따르는가
• 개방형 질문에 얼마나 유용한 답변을 제공하는가
• 이전 대화 맥락을 유지하는가
• 답변이 정확하면서도 관련성 있고 이해하기 쉬운가
• 사용자가 실제로 어느 답변을 더 선호하는가

 

이와 같은 능력을 측정할 수 있음 

 

MT-Bench : 챗봇의 멀티턴 대화 능력과 지시 수행 능력을 평가하기 위한 벤치마크! 

질문당 2턴의 대화가 이어짐 

챗봇 아레나는 두 모델과 동시에 대화한 뒤 더 좋은 답변을 선택하는 플랫폼 

Position bias - 순서에 따른 결과 변형 현상!

Verbosity bias - 짧고 정확한 답변보다, 길지만 반복적인 답변을 더 높게 평가 

Self-enhancement bias - 자기 생성 답변이나 자신과 유사한 스타일 답변을 더 선호 

그리고 평가 모델이 문제를 정확하게 풀지 못하면 제대로 평가하지 못하는 경향이 존재. 

정답을 같이 주면 조금 더 잘 판별하기도 함 

 

 

 

연구 문제	기존 MMLU, GSM8K 같은 정답 기반 벤치마크는 챗봇의 개방형 응답 품질, 지시 수행 능력, 멀티턴 대화 능력, 인간 선호도를 충분히 평가하지 못한다. 인간 평가는 정확하지만 비용과 시간이 많이 들기 때문에, 강력한 LLM을 자동 평가자로 사용할 수 있는지 검증한다.
핵심 아이디어	GPT-4와 같은 강력한 LLM에게 사용자 질문과 모델 응답을 제공하고, 정확성, 관련성, 유용성, 깊이, 창의성, 상세성 등을 기준으로 응답 품질을 평가하게 하는 LLM-as-a-Judge 방식을 제안한다.
평가 방식	① Pairwise comparison: 두 답변 중 더 좋은 답변 선택 ② Single-answer grading: 하나의 답변에 1~10점 부여 ③ Reference-guided grading: 수학·추론 문제에서 기준 답안과 비교하여 평가
MT-Bench	총 80개의 2턴 질문으로 구성된 멀티턴 챗봇 벤치마크다. Writing, Roleplay, Reasoning, Math, Coding, Extraction, STEM, Humanities의 8개 범주를 포함하며, 대화 맥락 유지와 후속 지시 수행 능력을 평가한다.
Chatbot Arena	사용자가 두 익명 모델에 동일한 질문을 하고 더 좋은 답변에 투표하는 크라우드소싱 플랫폼이다. 정해진 질문 없이 실제 사용자의 다양한 질의와 선호도를 수집하며, 논문에서는 약 30K개의 대화 및 투표를 확보했다.
실험 설정	MT-Bench에서는 GPT-4, GPT-3.5, Claude, Vicuna-13B, Alpaca-13B, LLaMA-13B를 비교하고, 58명의 전문가 평가자로부터 약 3K개의 투표를 수집했다. Chatbot Arena에서는 30K 투표 중 3K개를 샘플링해 LLM Judge와 인간 평가를 비교했다.
주요 결과	무승부를 제외했을 때 GPT-4와 인간의 평가 일치도는 MT-Bench에서 약 85%, Chatbot Arena에서 약 87%였다. 이는 인간 평가자 간 일치도인 약 81~82%와 유사하거나 더 높은 수준이다. 따라서 GPT-4는 인간 다수의 선호 경향을 상당히 잘 근사한다.
모델 간 차이에 따른 결과	두 모델의 성능 차이가 클수록 GPT-4와 인간의 평가 일치도가 높아져 거의 100%에 접근했다. 반대로 성능이 유사한 모델끼리 비교할 때는 평가 편향과 불일치가 증가했다.
Position bias	동일한 두 답변의 순서만 바꾸어도 평가 결과가 달라지는 편향이다. 순서 교체 후 판단 일관성은 Claude 23.8%, GPT-3.5 46.2%, GPT-4 65.0%로, GPT-4도 유사한 품질의 답변에서는 위치 편향을 보였다.
Verbosity bias	새로운 정보 없이 답변을 길고 반복적으로 만들었을 때 더 좋은 답변으로 평가하는 편향이다. 반복 목록 공격 실패율은 Claude와 GPT-3.5가 각각 91.3%, GPT-4가 8.7%로 나타났다. GPT-4가 상대적으로 강하지만 완전히 안전하지는 않다.
Self-enhancement bias	평가 모델이 자신이 생성한 답변이나 유사한 스타일의 응답을 선호할 가능성이다. GPT-4는 인간보다 자신의 답변 승률을 약 10% 높게, Claude는 약 25% 높게 평가했으나, 실험 통제가 어려워 확정적 결론은 내리지 않았다.
수학·추론 평가 한계	GPT-4가 문제를 독립적으로 풀 때는 정답을 알면서도, 잘못된 모델 답변과 함께 제시되면 그 오류에 영향을 받아 틀린 답변을 정답으로 판단할 수 있었다. 즉, 평가 능력은 Judge 모델 자체의 추론 능력과 입력 문맥에 제한된다.
편향 완화 방법	① 답변 순서를 바꾸어 두 번 평가하고 결과가 일치할 때만 승리 판정 ② A 승리, B 승리, 무승부 예시를 제공하는 few-shot judge ③ 평가 전 문제를 독립적으로 풀게 하는 CoT judge ④ 외부 기준 답안을 제공하는 reference-guided judge ⑤ 멀티턴에서는 각 모델의 전체 대화 기록을 함께 제시
완화 효과	Few-shot을 사용하면 GPT-4의 순서 교체 일관성이 65.0%→77.5%로 향상됐다.  수학 평가 실패는 기본 프롬프트 14/20, CoT 6/20, reference-guided 3/20으로 감소하여, 단순 CoT보다 독립적인 기준 답안 제공이 가장 효과적이었다.
기존 벤치마크와의 관계	MT-Bench와 Chatbot Arena는 기존 벤치마크를 대체하지 않는다. MMLU 등은 지식·추론 같은 핵심 능력을, MT-Bench는 지시 수행·대화 품질·인간 선호를 측정하므로 두 평가를 함께 사용해야 한다.
중요한 관찰	소량의 고품질 대화 데이터만으로도 모델의 MMLU 성능은 크게 향상되지 않지만, MT-Bench 점수는 빠르게 향상될 수 있다. 이는 instruction tuning이 지식 자체보다 인간이 선호하는 답변 형식과 대화 스타일을 효과적으로 학습시킨다는 것을 보여준다.
논문의 기여	① LLM-as-a-Judge의 인간 평가 일치도를 체계적으로 검증 ② MT-Bench와 Chatbot Arena 구축 및 공개 ③ 위치·장황함·추론 편향을 분석하고 완화 방법 제안 ④ 능력 기반 벤치마크와 선호 기반 평가를 결합한 혼합 평가 체계 제안
한계	Helpfulness 중심으로 평가해 안전성·정직성·유해성 분석이 부족하다. 여러 평가 요소가 하나의 점수에 혼합되며, GPT-4의 문체와 선호 기준이 평가 결과에 반영될 수 있다. 또한 전문 지식, 수학, 복잡한 추론에서는 Judge 자체가 틀릴 수 있다.
최종 결론	강력한 LLM Judge는 인간 평가를 완전히 대체하는 절대적 평가자가 아니라, 개방형 응답과 인간 선호를 저비용으로 근사하는 확장 가능한 자동 평가 도구다. 실제 사용 시에는 답변 순서 교체, 기준 답안, 규칙 기반 검증, 복수 Judge, 인간 검토를 결합해야 신뢰도를 확보할 수 있다.