Large Language Models are not Fair Evaluators

https://arxiv.org/abs/2305.17926

Large Language Models are not Fair Evaluators

LLM as Judge를 하다가 편햐애 문제가 생각보다 큰 것 같아서. ...

조금 찾아보게 되었습니다. 

 

GPT 같은 llm을 평가자로 활용할 때 두 응답의 내용이 같더라도 순서만 바꿔도 평가 결과가 뒤집히는 위치 편향이 발생한다는 사실을 밝힌 논문입니다. 

 

위치에 따른 승률 차이가 큰 것을 보여준다. 

모델 별로 선호하는 응답 위치 또한 다르다...

응답 품질이 비슷할수록 편향 차이도 커진다고 나왔습니다. 

3단계 보정 프레임워크를 통해 위치 편향을 완화하려고 함. 

위치 바꾸기, 설명 근거 후 점수 내게 하기 + HITL 을 통해 낮춤 

BPDE를 통해 HITL로 넘어가는데 엔트로피를 통해 계산하며 판정이 섞여 있으면 사람이 평가하게 된다. 

코스트를 줄이며 정확도를 올릴 수 있음. 

 

흠 근데 뭐 이건....

편향을 줄이려고 노력하긴 했습니다.

 

연구 배경	BLEU·ROUGE와 같은 기존 자동 평가지표는 자유형 생성 응답의 유용성, 정확성, 인간 의도 정렬을 충분히 평가하기 어렵다. 이에 GPT-4와 ChatGPT를 평가자로 사용하는 LLM-as-a-Judge 방식이 확산되었지만, 그 평가 신뢰성은 충분히 검증되지 않았다.
해결하려는 문제	동일한 두 응답의 제시 순서만 바꾸었을 때 평가 점수와 승자가 달라지는 위치 편향(Positional Bias) 문제를 분석한다. 이 편향으로 인해 특정 모델의 성능을 실제보다 높거나 낮게 보이도록 평가 결과를 조작할 수 있다.
핵심 발견 1	GPT-4는 대체로 첫 번째 응답, ChatGPT는 두 번째 응답을 선호했다. 평가 프롬프트에 “응답 순서가 판단에 영향을 주지 않도록 하라”는 지시를 포함해도 편향은 사라지지 않았다.
핵심 발견 2	Vicuna-13B와 ChatGPT를 비교할 때, GPT-4 평가에서 Vicuna의 승률은 첫 번째 위치에서 51.3%, 두 번째 위치에서 23.8%였으며 충돌률은 46.3%였다. ChatGPT 평가에서는 승률이 2.5% → 82.5%로 변했고 충돌률은 82.5%였다.
핵심 발견 3	두 응답의 품질 차이가 작을수록 위치 편향이 강했다. 특히 점수 차이가 1 이하인 어려운 비교에서는 순서 변경에 따라 결과가 자주 뒤집혔지만, 점수 차이가 3 이상이면 상대적으로 안정적이었다.
평가 불안정성 지표	Conflict Rate를 제안했다. 동일한 응답 쌍을 원래 순서와 교환된 순서로 평가했을 때, 두 판정이 서로 다른 사례의 비율을 측정한다. 값이 높을수록 평가자가 응답 위치에 민감하다는 의미다.
제안 방법 1: MEC	Multiple Evidence Calibration. 점수를 먼저 생성하고 설명을 나중에 붙이는 기존 방식과 달리, 평가 근거를 먼저 생성한 뒤 점수를 출력한다. 또한 동일 사례를 여러 번 샘플링하여 평가 결과를 평균·앙상블함으로써 단일 평가의 우연성을 줄인다.
제안 방법 2: BPC	Balanced Position Calibration. 두 응답을 원래 순서와 교환된 순서로 각각 평가하고, 각 응답이 첫 번째와 두 번째 위치에서 받은 점수를 평균한다. 특정 위치에서 얻는 이점과 불이익을 직접 상쇄하는 핵심 방법이다.
제안 방법 3: HITLC	Human-in-the-Loop Calibration. MEC와 BPC에서 생성된 여러 win/tie/lose 판정의 불일치 정도를 BPDE(Balanced Position Diversity Entropy)로 계산한다. BPDE가 높은, 즉 LLM 평가가 불안정한 사례만 사람이 직접 평가한다.
실험 설정	Vicuna Benchmark의 80개 질문, 9개 범주를 사용했다. ChatGPT와 Vicuna-13B 응답을 GPT-4 및 ChatGPT가 평가했으며, 세 명의 연구자가 유용성·관련성·정확성·상세성을 기준으로 독립 평가한 뒤 다수결 결과를 정답으로 사용했다.
GPT-4 결과	Vanilla 평가 정확도는 52.7%, MEC는 58.7%, MEC+BPC는 62.5%였다. 상위 20%의 불안정 사례를 사람이 평가한 HITLC까지 적용하면 73.8%, Kappa 0.56으로 상승했다.
ChatGPT 결과	Vanilla 정확도는 44.4%, MEC는 53.2%, MEC+BPC는 58.7%였다. HITLC를 추가하면 71.3%, Kappa 0.52를 달성하여 인간 평가자 평균 정확도 71.7%에 근접했다.
비용 효과	ChatGPT 기반 MEC+BPC+HITLC는 전체 사례 중 20%만 사람이 평가하면서 인간 평가 비용을 $30에서 $18.3으로 약 39% 절감했다.
주요 분석 결과	MEC는 반복 횟수 (k=3)에서 성능과 비용의 균형이 가장 좋았다. 단순히 샘플 수를 늘린 MEC (k=6)보다, 동일한 평가 횟수로 순서를 교환한 MEC+BPC가 더 우수해 위치 균형화의 효과를 입증했다.
연구 의의	LLM Judge의 평가는 절대적으로 공정하거나 객관적인 판정이 아니며, 입력 구성과 응답 위치에 의해 쉽게 왜곡될 수 있음을 실증했다. 동시에 재학습 없이 적용할 수 있는 단순한 위치 교환·반복 평가·선택적 인간 검토 전략을 제시했다.
한계	80개 질문과 당시 GPT-4·ChatGPT 버전에 한정된 실험이며, 인간 평가자도 세 명의 저자로 제한된다. 또한 위치 편향은 완화하지만 길이 편향, 자기 선호, 문체 편향, verbosity bias 등 다른 LLM Judge 편향을 직접 해결하지는 않는다.
최종 결론	LLM 평가 결과를 신뢰하려면 평가 근거를 먼저 생성하고, 두 응답의 순서를 교환하여 여러 번 평가하며, 결과가 불안정한 사례는 인간에게 검토하도록 해야 한다. 즉, 단일 순서·단일 호출의 LLM Judge 점수를 모델의 객관적 성능으로 사용해서는 안 된다.