Hallucination 관련 논문 리뷰 : Detecting Hallucinations in Large Language Model Generation: A Token Probability Approach, A Mathematical Investigation of Hallucination and Creativity in GPT Models, Survey of hallucination in natural language generation

https://arxiv.org/abs/2405.19648

Detecting Hallucinations in Large Language Model Generation: A Token Probability Approach

 

Hallucination 문제는 현 NLP 작업에서 커다란 문제이다.

Hallucination은 수치적으로 탐지할 수 있다.

 

 

 

classifier에 들어가는 Features

수식으로 나타냈다.

Classifer은 진짜 단순한 모델을 사용했습니다.

일단 읽어 봤을 때 제가 원하던 논문은 아니라 더 이상 정리하진 않았습니다.

그래도 연관 연구에서 다양한 논문을 찾았네요 

📌 연구 배경	- LLM(Large Language Model)은 종종 환각(hallucination) 현상을 보이며, 이는 사실과 다른 정보를 생성하는 문제를 초래함. - 특히 ChatGPT, GPT-3, Claude 2 같은 모델이 생성하는 텍스트에서 환각이 빈번하게 발생. - 기존의 환각 탐지 방법은 고비용, 고차원적 특징 사용, LLM 내부 상태(hidden states) 의존, 동일한 모델을 평가자로 사용하는 한계를 가짐.
📌 연구 목표	- 간단한 수치적 특징(4가지 확률 기반 특징)만을 활용하여 환각을 탐지하는 새로운 접근법을 제안. - 기존 방법보다 낮은 비용과 빠른 속도로 높은 성능을 달성하는 것이 목표.
📌 연구의 핵심 기여 (Contributions)	✅ 1. LLM 환각 탐지를 위한 새로운 방법론 제안 → 단 4가지 **수치적 특징(토큰 확률 기반)**만을 활용하여 환각 여부를 판별. ✅ 2. 다른 LLM을 평가자로 사용하는 방법 도입 → 기존 연구들은 환각 탐지 시 동일한 모델을 평가자로 사용했으나, 본 논문은 다른 LLM(LLME)를 활용하여 탐지 성능 향상. ✅ 3. 세 가지 주요 데이터셋(HaluEval, HELM, True-False)에서 실험 수행 → 제안된 방법이 기존 방법과 비교하여 더 높은 정확도를 달성함을 증명. ✅ 4. Logistic Regression(LR)과 Simple Neural Network(SNN) 모델을 사용하여 학습 → 매우 간단한 모델로도 강력한 성능을 보임. ✅ 5. 특징 중요도 분석(Ablation Study) 수행 → 어떤 특징이 가장 중요한지 상세 분석.
📌 방법론 (Methodology)	1️⃣ 입력 데이터: (condition-text, generated-text) 페어 (예: 질문과 응답) 2️⃣ LLM-Evaluator(LLME) 활용: 다른 LLM을 평가자로 사용하여 generated-text의 각 토큰 확률을 계산. 3️⃣ 4가지 핵심 수치적 특징 추출: - mtp (최소 토큰 확률): generated-text에서 가장 낮은 확률을 가진 토큰의 값. - avgtp (평균 토큰 확률): 전체 토큰 확률의 평균값. - Mpd (최대 확률 편차): LLME가 가장 높은 확률을 부여한 단어와 실제 생성된 단어의 확률 차이 중 최대값. - mps (최소 확률 분산): LLME가 가장 높은 확률과 가장 낮은 확률의 차이 중 최소값. 4️⃣ 학습 모델: Logistic Regression(LR), Simple Neural Network(SNN) 활용하여 환각 여부를 학습.
📌 실험 및 결과 (Results)	✅ HaluEval 데이터셋 - Summarization: GPT-J 평가자 + SNN → Accuracy 98% (SOTA 초과 성능 달성) - QA(질문 응답): BART 평가자 + SNN → Accuracy 95% - 기존 모델(ChatGPT, Claude 2, GPT-3)보다 최대 30% 향상된 성능을 기록. ✅ HELM 데이터셋 - 다양한 LLM에서 생성된 문장에서 환각 여부 탐지. - 기존 SOTA 모델인 MIND보다 약간 낮았지만, SelfCheckGPT, SAPLMA 같은 모델보다 높은 성능. ✅ True-False 데이터셋 - 성능이 낮음 → Hidden Layer 정보 활용 필요성 제기.
📌 기존 연구와의 차별점	🔹 기존 연구들은 LLM 내부 상태(hidden states)를 활용하거나, Self-Consistency 평가 방식(SelfCheckGPT, MIND)을 사용함. 🔹 본 논문은 단순한 4가지 수치적 특징만을 사용하면서도 강력한 성능을 보임. 🔹 기존 연구들은 동일한 LLM을 평가자로 사용한 반면, 본 논문은 다른 LLM을 평가자로 사용하여 탐지 성능 향상. 🔹 기존 연구들은 높은 연산 비용이 필요했지만, 본 논문은 저비용, 빠른 속도로 환각 탐지가 가능.
📌 연구의 한계 (Limitations)	❌ KGD(지식 기반 대화) 및 True-False 데이터에서 성능이 낮음 → Hidden Layer 활용 필요 가능성. ❌ 감독 학습(Supervised Learning) 방식의 한계 → 데이터 라벨링 필요. ❌ 환각의 세부 수준(Level of Hallucination) 판별 어려움 → 현재는 0 또는 1로만 구분.
📌 향후 연구 방향 (Future Works)	🔹 In-Context Learning + 확률 기반 방법 결합 → 환각 탐지 정확도 향상 가능. 🔹 Ensemble Learning 적용 → 여러 LLME의 출력을 결합하여 더 높은 성능 달성 가능. 🔹 Mixture of Experts(MoE) 모델에서 환각 문제 해결 연구와 연계. 🔹 Sparse Autoencoder를 활용한 LLM 내부 상태 해석 연구와 결합 가능성 검토.
📌 최종 정리	- LLM 환각 탐지를 위한 새로운 확률 기반 접근법 제안. - 간단한 4가지 수치적 특징만으로 기존 모델보다 높은 성능을 달성. - 다른 LLM을 평가자로 사용하면 탐지 성능이 향상됨을 확인. - MoE 모델, Sparse Autoencoder 연구와 결합하여 더 강력한 환각 탐지 모델 구축 가능.

 

 

1. 연구 배경 및 문제 정의

• LLM의 환각(Hallucination): 대형 언어 모델(LLM)이 실제 사실과 다른 정보를 생성하는 문제.
• 기존 탐지 방법들은 고비용, 고차원적 특징 사용, 또는 동일한 LLM을 평가자로 사용하는 문제가 있음.
• 이 논문은 단순한 4가지 수치적 특징만을 활용한 감독 학습 접근법을 제안.

2. 주요 기여점

1. 4가지 수치적 특징을 이용한 환각 탐지 모델 제안 (Logistic Regression, Simple Neural Network)
2. 3개의 데이터셋(HaluEval, HELM, True-False)에서 평가 수행
3. 환각 탐지를 위한 LLM-Generator(LLMG)와 LLM-Evaluator(LLME) 비교
4. 작은 모델을 평가자로 사용했을 때의 성능 분석
5. 특징 중요도 연구(Ablation 및 회귀 계수 분석)

---

3. 연구 방법론

(1) 문제 정의

• (condition-text, generated-text) 페어가 주어졌을 때, generated-text가 환각인지 판별.

(2) 일반적인 처리 과정 (Pipeline)

1. LLMG가 생성한 텍스트에 대해 LLME를 사용하여 토큰 확률 계산
2. 4가지 수치적 특징 추출
   • 최소 토큰 확률(mtp): LLME가 생성한 텍스트의 최소 확률 값
   • 평균 토큰 확률(avgtp): LLME가 생성한 텍스트의 전체 확률의 평균
   • 최대 LLME 확률 편차(Mpd): LLME가 예측한 가장 높은 확률과 LLMG가 생성한 토큰 확률의 차이
   • 최소 LLME 확률 분산(mps): LLME가 예측한 가장 높은 확률과 가장 낮은 확률의 차이
3. Logistic Regression(LR)과 Simple Neural Network(SNN)로 학습
4. 새로운 입력 데이터에 대해 환각 여부 예측

(3) LLME 선정

• 다양한 모델을 비교:
  • 소형 모델: GPT-2, BART, LED
  • 대형 모델: OPT-6.7B, GPT-J-6.7B, LLaMA-2-Chat-7B, Gemma-7B
• 같은 모델을 평가자로 쓰는 경우보다, 다른 모델을 평가자로 사용하면 더 나은 성능을 보임.

---

4. 실험 및 결과

(1) 데이터셋

• HaluEval (LLM의 환각 평가를 위한 데이터셋)
• HELM (여러 LLM이 생성한 문장을 평가)
• True-False (진실/거짓 문장 분류)

(2) 모델 성능 평가

• HaluEval
  • Summarization, QA, Knowledge-Grounded Dialogue(KGD)에서 기존 방법 대비 우수한 성능
  • 특히 GPT-J, BART를 LLME로 사용한 경우, 기존 방법보다 높은 정확도(98% 이상)
• HELM
  • MIND (기존 최첨단 모델)보다 일부 태스크에서 성능이 낮았으나, SAPLMA, SelfCheckGPT 등보다 우수
  • LLME를 다양하게 사용할수록 성능 향상
• True-False
  • 성능이 낮음. Hidden layer 활용 필요성 제기.

(3) Ablation Study

• mtp, avgtp가 가장 중요한 특징
• KGD에서는 Mpd도 중요한 역할 수행

---

5. 결론 및 미래 연구 방향

1. 단순한 4가지 수치적 특징만으로도 강력한 환각 탐지 가능
2. 다양한 LLM을 평가자로 사용할 경우 탐지 성능 향상
3. 일부 데이터셋(HELM, True-False)에서 한계 확인 → Hidden Layer 정보 추가 필요
4. 향후 연구 방향
   • In-Context Learning과 결합
   • Ensemble 방식 도입
   • 다중 LLM 평가자의 효과 심층 분석

---

 

🔍 관련 연구 및 기존 연구와의 차이점 정리

이 논문은 LLM의 환각(hallucination) 탐지를 목표로 하며, 기존 연구들과 차별점을 가지는 새로운 방법론을 제안한다. 따라서, 관련된 연구를 정리하고 본 논문이 기존 연구들과 어떤 차이를 가지는지 비교해 보겠다.

---

📌 1. 관련 연구 정리

LLM의 환각 탐지는 NLP 및 AI 안전성 연구에서 중요한 주제로 떠오르고 있으며, 여러 접근 방식이 제안되었다. 이 논문과 관련된 연구들은 크게 (1) 확률 기반 접근법, (2) 내부 상태 분석 접근법, (3) 평가자 기반 접근법으로 나눌 수 있다.

(1) 확률 기반 접근법

🔹 SelfCheckGPT (Manakul et al., 2023)

• LLM이 생성한 응답에 대해 자체 평가(self-consistency) 방법을 사용하여 신뢰도를 판단.
• 여러 번의 생성 결과를 비교하여 일관성이 부족하면 환각 가능성이 높다고 판단.
• 그러나 추론이 필요한 문장에서는 성능이 저하됨.

🔹 Modeling Internal states for hallucination Detection (MIND) (Su et al., 2024)

• LLM 내부 상태를 활용한 비지도 학습(unsupervised learning) 기반 환각 탐지 기법.
• 생성된 문장의 토큰 확률을 분석하는 대신, 모델이 문장을 생성하는 과정에서 숨겨진(hidden) 상태 변화를 추적하여 환각을 감지.
• 핵심 차이점: 본 논문은 4가지 간단한 수치적 특징만 활용하는 반면, MIND는 모델 내부의 표현(hidden states)을 활용하여 학습.

🔹 Mathematical Investigation of GPT Hallucination (Lee et al., 2023)

• LLM이 환각을 생성할 때 토큰 확률이 낮아지는 경향이 있다는 점을 수학적으로 분석.
• 본 논문에서도 Lee et al.(2023)의 연구를 참고하여 최소 토큰 확률(mtp)과 평균 토큰 확률(avgtp)을 주요 특징으로 선정.

---

(2) 내부 상태 분석 접근법

🔹 Statement Accuracy Prediction based on Language Model Activations (SAPLMA) (Azaria et al., 2023)

• LLM이 문장을 생성할 때 발생하는 히든 레이어의 활성화 값(hidden activations)을 이용하여 진실성과 환각을 판별.
• LLM이 문장을 읽거나 생성하는 동안 내부 신호를 활용하여 신뢰도를 예측하는 방식.
• 본 논문의 접근법과 달리, 토큰 확률이 아닌 LLM 내부의 뉴런 활성화 패턴을 사용.

🔹 Chain-of-Thought Self-Consistency (Wang et al., 2023)

• LLM이 여러 번 추론을 수행한 후, 추론 결과가 일관적인지 여부를 평가하여 환각을 탐지.
• 복잡한 논리적 추론이 필요한 경우 효과적이지만, 단순 정보 제공형 문장에서는 성능이 낮음.
• 본 논문과 달리 확률 정보만을 활용한 접근법이 아님.

---

(3) 평가자 기반 접근법

🔹 HaluEval (Li et al., 2023)

• LLM이 생성한 문장을 수작업으로 평가하여 환각 여부를 라벨링한 데이터셋을 구축.
• 본 논문에서도 HaluEval 데이터를 이용하여 모델 성능을 평가.

🔹 GPT-Score & BARTScore (Yuan et al., 2021; Fu et al., 2023)

• 다른 LLM을 평가자로 사용하여 생성된 문장의 품질을 점수화하는 방법.
• 본 논문에서도 유사하게 LLMG와 LLME를 구분하여 환각을 판별하지만, GPT-Score와 BARTScore는 LLM의 평가 점수를 종합하는 방식인 반면, 본 논문은 4가지 확률적 특징만을 사용.

---

🎯 2. 기존 연구와 본 논문의 차이점

본 논문은 기존 연구들과 몇 가지 중요한 차이점을 가진다.

	기존 연구	본 논문
접근 방식	다차원적 특징 사용, 모델 내부 상태 활용	4가지 간단한 확률적 특징만 사용
필요한 리소스	고비용 (히든 레이어 활용, 다중 평가 필요)	저비용 (단순 확률 정보 사용)
모델 학습 방식	비지도 학습(MIND), 자체 평가(SelfCheckGPT)	감독 학습 (Logistic Regression, SNN)
평가자(LLME) 사용 여부	일부 연구는 단일 LLM만 평가자로 사용	다른 LLM을 평가자로 활용하여 탐지 성능 향상
적용 데이터셋	HaluEval, HELM, True-False	HaluEval, HELM, True-False를 모두 평가하며, 새로운 특징들의 효과 분석
특징 설계	LLM 내부의 뉴런 활성화, 다중 문장 비교	단순한 4가지 수치적 특징만 활용하여 환각 탐지
특징 해석 가능성	모델 내부 상태를 분석해야 하므로 해석 어려움	각 특징의 기여도를 쉽게 분석 가능 (ablation study 수행)

📌 핵심 차별점

1. 기존 연구들은 Hidden States(히든 상태) 분석, Self-Consistency 평가 등을 활용하지만, 본 논문은 단순한 4가지 수치적 특징만을 사용.
2. 다른 LLM(LLME)를 평가자로 활용하여 환각 탐지를 수행 → 기존 연구에서는 동일한 모델이 생성한 문장을 평가하는 경우가 많았음.
3. 낮은 비용과 빠른 학습 속도 → 기존 연구들은 많은 리소스를 필요로 하지만, 본 논문은 단순한 특징을 사용하여 높은 성능을 달성.
4. Supervised Learning 접근 방식 → 기존 연구들은 비지도 학습(MIND), 자체 평가(SelfCheckGPT)를 많이 사용했으나, 본 논문은 Logistic Regression과 Neural Network 기반 지도 학습 방식을 채택.

---

📢 3. 결론

본 논문은 기존 연구들과 비교하여 간단한 4가지 확률적 특징을 활용하면서도 효과적인 환각 탐지 성능을 보여줌.
특히 다른 LLM을 평가자로 활용하는 방식이 성능 향상에 중요한 역할을 한다는 점에서, 기존 연구와 차별화된다.

 

논문의 방법론

논문의 방법론을 구체적이고 명확하게 설명하면서, 인공지능 전문가로서 쉽게 이해할 수 있도록 예제와 함께 설명하겠습니다.

---

1️⃣ 연구 문제 정의

• LLM(Large Language Model)이 생성한 문장 (generated-text)이 환각(hallucination)인지 아닌지를 판별해야 한다.
• 이를 위해, LLM이 생성한 문장의 각 토큰(token)의 확률 값을 활용하여 간단한 수치적 특징 4가지를 계산하고, 이를 바탕으로 환각 여부를 예측하는 Logistic Regression(LR)과 Simple Neural Network(SNN) 모델을 학습한다.

---

2️⃣ 문제 해결을 위한 접근 방식 (General Pipeline)

논문에서는 환각 탐지를 위한 일반적인 처리 과정(Pipeline)을 다음과 같이 제안한다.

📌 (1) 데이터 입력 (Condition-Text & Generated-Text)

• condition-text: LLM이 문장을 생성할 때 기반으로 하는 입력 텍스트
  (예: "아인슈타인은 어떤 이론을 발견했는가?")
• generated-text: LLM이 생성한 응답
  (예: "아인슈타인은 열역학 제2법칙을 발견했다.") → 환각 발생! (정답: 상대성이론)

💡 목표:
이 generated-text가 사실인지(정확한지) 환각인지 판별하는 것.

---

📌 (2) LLM-Evaluator(LLME)를 활용한 토큰 확률 추출

• 환각 여부를 판별하기 위해 다른 LLM (LLME) 을 평가자로 사용한다.
• LLME가 generated-text의 각 단어(토큰)에 대해 확률을 계산한다.

🔹 예제
generated-text = ["아인슈타인은", "열역학", "제2법칙을", "발견했다."]
이때, LLME가 각 단어에 대해 부여하는 확률 값이 다음과 같다고 하자:

단어	확률(LLME 기준)
아인슈타인은	0.98
열역학	0.10
제2법칙을	0.08
발견했다.	0.85

• 열역학과 제2법칙을의 확률이 매우 낮다 → 환각 가능성이 높다고 의심할 수 있음.

---

📌 (3) 4가지 수치적 특징 추출

LLME가 계산한 토큰 확률을 바탕으로, 4가지 핵심 수치적 특징을 추출하여 환각 탐지 모델에 입력한다.

특징	정의	수식
1. 최소 토큰 확률 (mtp)	generated-text 내 토큰 중 가장 낮은 확률 값	mtp=min⁡(P(t1),P(t2),...,P(tn))
2. 평균 토큰 확률 (avgtp)	전체 토큰 확률의 평균 값	avgtp=∑i=1nP(ti) / n
3. 최대 확률 편차 (Mpd)	LLME가 가장 높은 확률을 준 단어와 LLMG가 선택한 단어의 차이 중 최대값	Mpd=max⁡(P(v∗)−P(ti))
4. 최소 확률 분산 (mps)	LLME가 가장 높은 확률과 가장 낮은 확률의 차이 중 최소값	mps=min⁡(P(v∗)−P(v−))

✅ 예제 적용

위 예제에서 각 특징을 계산해보자.

1. mtp (최소 확률)
   • min(0.98, 0.10, 0.08, 0.85) = 0.08
   • → 가장 확률이 낮은 제2법칙을의 확률값
2. avgtp (평균 확률)
   • (0.98 + 0.10 + 0.08 + 0.85) / 4 = 0.5025
3. Mpd (최대 확률 편차)
   • v^*: 가장 확률이 높은 단어 (예: "상대성이론" → 0.99)
   • max(0.99 - 0.10, 0.99 - 0.08) = 0.91
4. mps (최소 확률 분산)
   • min(0.99 - 0.08) = 0.91

이렇게 4가지 수치를 뽑아서 ML 모델의 입력으로 활용한다.

---

📌 (4) Logistic Regression & Neural Network 학습

이제 위에서 구한 4가지 특징을 기반으로 환각 여부를 예측하는 모델을 학습한다.

• Logistic Regression (LR)
  • 간단한 선형 모델
  • 빠르고 해석이 용이함

• Simple Neural Network (SNN)
  • 4개 입력 뉴런 → 512개 뉴런 2개 히든 레이어 → 출력 뉴런(환각 여부)
  • ReLU 활성화 함수 사용
  • 시그모이드 함수로 0~1 확률 값 출력

💡 결과적으로, 4가지 특징만을 활용하여 환각 여부를 0 또는 1로 판별!

---

3️⃣ 방법론의 차별점 및 장점

기존 방법론	본 논문 방법론
LLM의 히든 상태(hidden states) 사용	LLM의 토큰 확률만 사용 (간단함)
복잡한 특징 조합 사용 (SelfCheckGPT, MIND)	4개의 단순한 수치적 특징만 사용
동일한 모델로 평가 (자기평가)	다른 LLM을 평가자로 사용 (LLME 도입)
고비용 (추론 여러 번 필요)	저비용 (1번의 추론만 필요)
비지도 학습(Self-Consistency) 사용	감독 학습(Logistic Regression, SNN) 사용

예제 기반 차별점

🔹 기존 방법:

• GPT-3.5가 문장을 생성하고, 다시 자체 평가 → 비효율적, 추론 시간 증가
  🔹 본 논문 방법:
• GPT-3.5가 생성한 문장을 OPT-6.7B 같은 다른 LLM으로 평가 → 추론 속도 빠름, 더 객관적인 판단 가능

---

4️⃣ 결론: 방법론의 의미와 확장 가능성

• 본 논문의 방법론은 단순한 확률적 특징 4개만을 활용하면서도 강력한 성능을 보인다.
• Mixture of Experts (MoE) 모델에도 적용 가능 (게이트 네트워크 평가)
• Sparse Autoencoder를 활용한 LLM 내부 해석 연구와 결합 가능
• 환각 탐지를 위한 경량화된 평가 모델로 활용 가능 → 실시간 AI 시스템 적용 가능 🚀

---

 

논문의 결과

이 논문은 LLM(Large Language Model)의 환각(hallucination)을 탐지하는 새로운 방법을 제안하며, 기존 방법보다 효율적이고 강력한 성능을 보였다.

---

1️⃣ 실험 결과 (Results)

논문에서는 3가지 주요 데이터셋을 이용해 제안한 방법을 평가했다.

📌 (1) HaluEval 데이터셋 실험 결과

• Summarization(요약), QA(질문 응답), KGD(지식 기반 대화), GUQ(일반 사용자 질문) 4가지 태스크에서 평가.
• 최고 성능을 기록한 모델:
  • Summarization: GPT-J 평가자 + Simple Neural Network → Accuracy: 98%
  • QA: BART 평가자 + Simple Neural Network → Accuracy: 95%
• 기존 방법과 비교 시 우수한 성능 달성
  • ChatGPT, Claude 2, GPT-3 등의 기존 모델보다 더 높은 정확도.
  • 특히, 환각 탐지 정확도가 최대 30% 이상 향상됨.

📌 (2) HELM 데이터셋 실험 결과

• 다양한 LLM(예: GPT-J, Falcon, LLaMA-2-Chat-7B)으로 생성된 문장에서 환각 여부를 판별.
• 기존 SOTA(SOTA: State-of-the-Art) 모델인 MIND(자기 평가 방식의 환각 탐지 모델)보다 약간 낮은 성능을 보였지만,
  SelfCheckGPT, SAPLMA 같은 다른 모델보다 높은 성능을 달성.

📌 (3) True-False 데이터셋 실험 결과

• "True(사실)" vs "False(허위 정보)" 문장을 구분하는 문제.
• 기존 방법(SAPLMA, BERT-5-shot)보다 낮은 성능 → 본 논문의 방법이 이런 유형의 데이터에서는 한계가 있음이 확인됨.
• Hidden Layer(히든 레이어) 정보가 필요할 가능성 제기.

---

2️⃣ 결론 (Conclusions)

논문의 주요 결론은 다음과 같다.

🔹 1. 간단한 4가지 수치적 특징만으로 강력한 환각 탐지가 가능

• 기존 방법처럼 LLM의 내부 상태(hidden states)를 활용하지 않고도 높은 정확도를 보임.
• 특히 mtp(최소 토큰 확률), avgtp(평균 토큰 확률)이 환각 탐지에 가장 중요한 역할을 함.

🔹 2. 다른 LLM을 평가자로 사용할 때 성능 향상

• 환각을 탐지할 때 생성한 모델(LLMG)과 평가 모델(LLME)을 분리하는 것이 더 효과적임.
• 기존 연구들은 동일한 모델로 평가하는 경우가 많았으나, 다른 LLM을 평가자로 사용하면 더 객관적인 판별이 가능.

🔹 3. 작은 모델도 환각 탐지에서 강력한 성능을 보일 수 있음

• GPT-J, BART, OPT 같은 소형 모델을 LLME로 사용해도 강력한 탐지 성능을 보임.
• 무조건 대형 모델을 사용할 필요 없음 → 실시간 애플리케이션에서 사용 가능성 높음.

🔹 4. 특정 유형의 데이터(예: True-False)에서는 성능이 낮음

• True-False 데이터셋에서 성능이 낮았음 → Hidden Layer 정보를 활용하는 방식이 필요할 수 있음.

---

3️⃣ 마무리: 한계점 및 향후 연구 방향

논문은 마지막으로 연구의 한계점과 향후 연구 방향을 제시했다.

📌 한계점 (Limitations)

1. 대화형(KGD) 및 True-False 데이터에서는 성능이 낮음
   • 기존 방법보다 KGD(지식 기반 대화)와 True-False 태스크에서 성능이 낮았음.
   • 이유: 단순한 토큰 확률 기반 접근법이 아닌, LLM 내부 정보(hidden states)를 분석해야 할 필요성이 있음.
2. 감독 학습(Supervised Learning)의 한계
   • 본 논문은 감독 학습(Supervised Learning)을 사용하여 학습 데이터에 의존적임.
   • 반면, MIND 같은 최신 연구는 비지도 학습(Unsupervised Learning) 방식으로 더 범용적으로 사용 가능.
3. 환각의 세부 수준(Level of Hallucination) 판별 어려움
   • 현재 방법론은 환각 여부를 이진 분류(binary classification, 0 or 1)로 처리.
   • 하지만 환각도 "완전한 허위" vs "부분적 오류" 같은 수준 차이가 있을 수 있음.

---

📌 향후 연구 방향 (Future Works)

1. In-Context Learning + 확률 기반 방법 결합
   • 기존의 In-Context Learning과 본 논문의 방법을 결합하여 환각 탐지 정확도 향상 가능성 탐색.
2. Ensemble Learning 적용
   • 하나의 LLME를 사용하는 것이 아니라, 여러 LLME의 출력을 결합하는 앙상블 학습 기법 연구.
3. Mixture of Experts(MoE) 모델과 결합
   • MoE 모델에서 게이트 네트워크가 비효율적으로 학습될 경우, 환각이 발생할 가능성이 있음.
   • MoE 구조에서 환각을 줄이는 연구와 결합할 수 있음.
4. Sparse Autoencoder 기반 환각 탐지 연구
   • 현재 연구 중인 Sparse Autoencoder를 활용하여 LLM 내부에서 환각이 발생하는 원인을 해석하는 연구와 접목 가능.
5. 더 다양한 데이터셋에서 평가
   • HaluEval, HELM, True-False 외에도 더 다양한 LLM 생성 데이터셋에서 성능 검증 필요.

---

📢 최종 정리

✅ 연구 성과

• LLM의 환각을 단순한 4가지 확률적 특징만으로 탐지 가능한 새로운 방법론을 제안.
• 기존 SOTA 모델보다 높은 성능을 기록하면서도, 저비용, 빠른 속도로 실행 가능.
• 다른 LLM을 평가자로 사용하면 환각 탐지 성능이 더 향상됨을 발견.

🚀 미래 연구 방향

• Self-Consistency, Hidden States 분석 기법과 결합하여 성능을 더욱 강화
• Mixture of Experts(MoE) 모델에서 환각 문제를 해결하는 연구와 연계
• Sparse Autoencoder를 활용한 LLM 내부 상태 해석 연구와 결합 가능성 검토

---

🌟 연구자에게 주는 인사이트

이 연구는 신뢰할 수 있는 LLM 구축을 위한 기초적인 연구이며,
Mixture of Experts(MoE) 모델에서 발생할 수 있는 게이트 네트워크와 전문가 네트워크의 불균형 문제와 연결할 수 있다.

또한, Sparse Autoencoder를 활용한 LLM 해석 연구와 결합하면,
환각이 발생하는 원인을 더 깊이 분석하고, 향후 신뢰성 높은 LLM을 설계하는 데 중요한 역할을 할 것이다. 🚀

 

📌 D. 차별적인 방법론적 접근(Distinctive Methodological Approach)

논문의 방법론은 기존 연구(참고 논문 [14, 13, 10, 15])와 몇 가지 중요한 차이점을 가진다.

1️⃣ 기존 연구와의 차이점

• 이 논문은 이론적 연구(theoretical paper)가 아닌 실증적 연구(empirical paper)이다.
  → 수학적 이론을 제시하는 것이 아니라, 실제 데이터를 바탕으로 실험을 수행하는 방식을 채택.
• 기존 연구(예: SelfCheckGPT [10])는 Self-Consistency 기법(같은 질문에 여러 번 답변을 생성한 후, 결과를 비교하여 신뢰성을 평가하는 방식)을 사용하지만,
  이 논문에서는 해당 기법을 사용하지 않음.
• Zero-shot 또는 Few-shot Learning을 사용하지 않음.
  → 기존 연구 중 일부는 별도의 학습 없이 LLM을 직접 사용해 환각을 판별했으나,
  이 논문은 감독 학습(Supervised Learning)을 사용하여 환각 탐지 모델을 학습.
• 기존 연구들은 LLM의 컨텍스트 임베딩(Contextual Embeddings)과 히든 레이어(hidden layers)를 분석하여 환각을 탐지하려고 했음.
  하지만, 이 논문은 단순한 4가지 수치적 특징(토큰 확률 및 어휘 확률 정보)만을 사용하여 보다 간단한 접근 방식을 채택.
• 로지스틱 회귀(Logistic Regression, LR) 및 심층 신경망(Simple Dense Neural Network, SNN) 모델을 테스트함.
  • 기존 연구들은 복잡한 모델을 많이 사용했지만,
    이 논문은 간단한 LR 모델을 사용해 빠르게 학습하고, 동시에 신경망을 사용해 비선형 관계도 탐색.

---

2️⃣ LLM-Generator(LLMG) vs. LLM-Evaluator(LLME) 개념 도입

기존 연구와 달리, 이 논문은 LLM-Generator(LLMG)와 LLM-Evaluator(LLME)를 구분하는 새로운 접근법을 제안했다.

• LLMG(텍스트를 생성하는 LLM)
  • ChatGPT 같은 모델이 실제 텍스트를 생성하는 역할을 한다.
• LLME(생성된 텍스트를 평가하는 LLM)
  • 텍스트의 신뢰성을 평가하는 역할을 하며, 반드시 LLMG와 같은 모델일 필요는 없음.
  • LLMG와 LLME가 다르면, 모델 구조, 크기, 학습 데이터, 문맥 길이 등이 달라지므로 환각 탐지 성능이 향상될 가능성이 있음.

✅ 핵심 아이디어
다양한 LLME를 사용하면, 하나의 LLM이 감지하지 못하는 환각 패턴을 다른 LLM이 감지할 수 있다.
즉, 다양한 평가자를 활용하면 더 강력하고 일반화된 환각 탐지가 가능해진다.

• 이를 위해 새로운 수치적 특징(Mpd, Maximum LLME Probability Deviation)을 추가함.
  • LLME가 가장 높은 확률을 부여한 단어와, 실제 LLMG가 생성한 단어의 확률 차이를 계산.
  • 이 값을 사용하면 LLMG와 LLME의 차이점을 기반으로 환각을 더욱 정밀하게 탐지할 수 있음.

---

📌 E. 특징 추출 (Feature Extraction)

이 논문에서 사용한 4가지 수치적 특징을 얻는 과정.

1️⃣ LLME를 활용하여 토큰 확률 계산

• LLMG가 생성한 generated-text를 LLME에 입력.
• LLME는 각 단어(토큰)에 대해 확률을 계산.

2️⃣ 강제 디코딩(Force Decoding) 기법 사용

• LLME가 generated-text를 직접 생성하도록 두는 것이 아니라,
  LLMG가 생성한 결과를 강제로 따라가며 토큰 확률을 계산하도록 설계.
• 즉, LLME가 생성할 가능성이 높은 문장과 LLMG가 실제 생성한 문장 사이의 차이를 분석.

3️⃣ 이 확률 값을 사용해 4가지 핵심 수치적 특징을 계산

• 최소 토큰 확률(mtp)
• 평균 토큰 확률(avgtp)
• 최대 확률 편차(Mpd)
• 최소 확률 분산(mps)

✅ 핵심 개념 요약

• 기존에는 LLM이 직접 답변을 생성하면서 신뢰성을 평가했다면,
  이 논문에서는 다른 LLM(LLME)에게 기존 답변을 따라가도록 강제(decoding)하여 확률 값을 추출함.
• 이를 통해 환각이 포함된 토큰이 다른 토큰보다 확률적으로 얼마나 낮은지를 분석하여 탐지 성능을 향상.

---

📌 F. 모델 설계 (Models Specification)

논문에서 사용한 두 가지 분류 모델.

1️⃣ 로지스틱 회귀(Logistic Regression, LR)

• 단순한 선형 모델.
• 빠른 학습 속도와 해석 가능성이 뛰어남.
• 환각 여부를 0과 1로 분류하는 이진 분류(Binary Classification) 문제에 적합.

2️⃣ 심층 신경망(Simple Neural Network, SNN)

• 4개의 입력 뉴런(4가지 수치적 특징)
• 2개의 은닉층(hidden layer), 각 512개 뉴런(ReLU 활성화 함수 사용)
• 마지막 출력 뉴런 1개 (시그모이드 활성화 함수 사용 → 0 또는 1 확률 출력)

✅ 핵심 개념 요약

• 로지스틱 회귀는 간단하지만 효과적인 방식으로 빠르게 학습 가능.
• SNN은 비선형적인 관계도 탐색할 수 있어 더 높은 성능을 낼 가능성이 있음.
• 하지만 둘 다 복잡한 모델이 아니라는 점에서, 본 논문의 접근법이 경량화된 환각 탐지 기법임을 강조.

---

📢 최종 요약

기존 연구와의 차이점	- LLM 내부 상태(hidden states) 분석 X → 단순한 4가지 수치적 특징만 사용. - Self-Consistency 방식 X → 감독 학습(Supervised Learning) 사용. - Zero-shot / Few-shot Learning X → 학습된 분류 모델 활용. - LLMG와 LLME를 구분하여 평가 성능 향상.- LLME를 활용한 확률 기반 특징(Mpd) 추가.
LLMG vs. LLME 개념	- LLMG: 텍스트 생성 (예: ChatGPT) - LLME: 텍스트 평가 (예: GPT-2, BART, LLaMA-2 등) - LLME가 LLMG의 결과를 분석하여 환각 탐지 성능을 향상.
특징 추출(Feature Extraction) 과정	1. LLME를 활용하여 확률 계산. 2. 강제 디코딩(Force Decoding) 기법 사용. 3. 4가지 수치적 특징 추출(mtp, avgtp, Mpd, mps).
모델 설계(Models Specification)	- Logistic Regression: 간단하고 빠른 학습 가능. - Simple Neural Network: 4개 입력 뉴런 → 512개 뉴런 2개 → 1개 출력 뉴런(시그모이드).

---

🌟 핵심 아이디어 요약

✅ 기존 연구보다 간단한 방법을 사용하면서도 더 나은 성능을 달성.
✅ LLMG와 LLME를 구분하여 평가자 역할을 분리 → 환각 탐지 성능 향상.
✅ 간단한 4가지 확률적 특징만으로 효과적인 환각 탐지가 가능.
✅ 저비용 + 높은 성능을 가진 환각 탐지 모델 개발 가능성 제시.

이제 이 요약만 보고도 논문의 핵심 아이디어를 이해할 수 있을 것! 🚀

 

 

https://www.mdpi.com/2227-7390/11/10/2320

A Mathematical Investigation of Hallucination and Creativity in GPT Models

수학적으로 따지는 Hallucination