Investigating Gender Bias in Language Models Using Causal Mediation Analysis - 논문 리뷰

https://proceedings.neurips.cc/paper/2020/file/92650b2e92217715fe312e6fa7b90d82-Paper.pdf

이 논문은 성별 편향이 언어 모델 내부에서 어떻게 발생하고 전달되는지 분석하기 위해 인과 매개 분석(Causal Mediation Analysis)을 도입했다.

 

GPT-2 모델을 대상으로 뉴런과 어텐션 헤드가 성별 편향 정보를 매개하는 역할을 직접적/간접적으로 분리하여 측정했다

성별 편향은 소수의 뉴런과 어텐션 헤드에 집중되며, 모델 크기가 커질수록 이러한 편향이 더 강하게 나타났다.

Professions, Winobias, Winogender와 같은 데이터셋을 사용하여 단어와 문맥 수준에서 편향을 평가했다.

편향을 식별하고 분석하는 데 중점을 두었으며, 이를 줄이거나 수정하는 방법론은 제시하지 않았다.

 

 

 

 

논문 요약: Investigating Gender Bias in Language Models Using Causal Mediation Analysis

---

1. 이 논문이 해결하려는 문제

• 문제 정의: 기존의 언어 모델에서 나타나는 성별 편향(gender bias) 문제를 탐구하고 이를 분석하기 위한 체계적이고 구체적인 방법론 부족.
• 한계:
  • 전통적인 분석 방법은 모델 내의 정보를 설명할 때 상관관계만 확인 가능하며, 정보가 모델의 실제 동작에 어떻게 영향을 미치는지 밝히지 못함.
  • 성별 편향이 모델의 내부 구성 요소(예: 뉴런, 어텐션 헤드)에 어떻게 영향을 주는지에 대한 명확한 인과관계를 제시하지 못함.

---

2. 사용된 방법

• 주요 방법론: 인과 매개 분석(causal mediation analysis)
  • 목적: 입력 → 출력 과정에서 특정 중간 매개체(뉴런, 어텐션 헤드 등)가 정보 흐름에 미치는 직접적(direct) 및 간접적(indirect) 효과를 분리하고 정량화.
  • 적용 사례: GPT-2와 같은 Transformer 기반 언어 모델에서 성별 편향의 흐름을 분석.
  • 구체적 절차:
    • 중재자(intermediary)로 뉴런과 어텐션 헤드를 설정.
    • 데이터셋(Winobias, Winogender, Professions)을 통해 성별 편향 측정.
    • "set-gender" 조작: 중립적인 문장에서 직업을 특정 성별을 암시하도록 수정(예: nurse → man).

---

3. 주요 결과

• 성별 편향의 집중성:
  • 뉴런: 특정 뉴런(주로 초반 및 중간 레이어의 뉴런)이 성별 편향의 대부분을 매개.
  • 어텐션 헤드: 어텐션 헤드 중 일부가 편향된 정보의 전달에 중요한 역할을 함.
• 모델 크기의 영향:
  • 모델 크기가 커질수록 성별 편향이 강해짐(GPT2-small < GPT2-xl).
• 편향 분포:
  • 성별 편향은 모델의 모든 뉴런 및 어텐션 헤드에 골고루 분포하지 않고, 소수의 요소에 집중됨.

---

4. 한계점

1. 편향 정의의 단순성: 이진 성별(남성/여성)만 고려, 성 중립적 또는 비이진적 관점은 충분히 탐구되지 않음.
2. 데이터셋 편중: 영어 데이터셋에만 의존하였으며, 다른 언어 및 문화적 특수성을 다루지 못함.
3. 중재자 간 상호작용 미분석: 뉴런 또는 어텐션 헤드 간의 상호작용과 같은 복잡한 관계는 명확히 분석되지 않음.
4. 실제 적용 한계: 중재자를 제어하여 모델의 편향을 줄이는 실질적 방법론은 제안되지 않음.

---

5. 논문의 타당성과 아쉬운 점

• 타당성:
  • 인과 매개 분석을 NLP 모델에 적용한 첫 시도 중 하나로, 편향의 흐름을 구조적이고 행동적으로 설명.
  • 결과적으로 성별 편향이 소수의 모델 구성 요소에 집중된다는 점을 입증하여 모델 디버깅 및 수정의 방향성을 제시.
• 아쉬운 점:
  • 편향 감소 방안 미제시: 편향을 줄이는 실제 솔루션에 대한 구체적 제안 부족.
  • 확장성 부족: 영어 이외의 언어 및 복잡한 문화적 요소에 대한 일반화 어려움.
  • 편향의 정의 제한: 비이진적 성별 및 더 다양한 사회적 편향을 탐구하지 않음.

---

6. 이 논문을 바탕으로 연구 방향 제안

1. 비이진적 성별 및 다양한 편향 분석:
   • 기존의 이진적 접근을 넘어 다중 클래스 편향 또는 연속적 편향 정의로 확장.
2. 편향 감소를 위한 실질적 개입:
   • 특정 뉴런이나 어텐션 헤드에서 성별 관련 정보를 제거하거나 수정하는 알고리즘 설계.
3. 다중 언어 및 다문화적 데이터셋 탐구:
   • 영어 외 다양한 언어와 사회적 배경을 포괄하는 모델 실험.
4. 상호작용 분석 강화:
   • 뉴런 및 어텐션 헤드 간의 상호작용 관계를 추가적으로 모델링하여 더 깊은 이해 도출.

이 논문은 편향 분석의 새로운 방향성을 제시하였으며, 이를 기반으로 더 심층적이고 실용적인 해석 연구를 설계할 수 있을 것입니다.

 

여기서 사용된 방법에 대해 좀 더 자세하게 논문을 기반으로 설명해줘

논문에서 사용된 인과 매개 분석(Causal Mediation Analysis) 방법론을 중심으로, 이를 기반으로 한 구체적 절차와 적용 방식을 자세히 설명하겠습니다.

---

1. 인과 매개 분석(Causal Mediation Analysis)의 개념

• 핵심 아이디어:
  • 모델 입력과 출력 사이의 정보 흐름을 이해하기 위해, 특정 중간 요소(중재자, mediator)의 역할을 분리하여 직접적(direct) 및 간접적(indirect) 영향을 분석.
  • 예를 들어, 입력 텍스트에서 출력 예측으로 이어지는 과정에서 특정 뉴런 또는 어텐션 헤드가 얼마나 중요한 역할을 하는지 평가.
• 직접 효과(Direct Effect):
  • 중재자를 고정한 상태에서 입력이 출력에 미치는 영향을 측정.
  • 예: 특정 뉴런의 활성화 값을 원래 값으로 고정한 채 입력 변경을 통해 출력 변화를 평가.
• 간접 효과(Indirect Effect):
  • 중재자가 입력의 영향을 받아 변경되고, 이로 인해 출력이 어떻게 변하는지 측정.
  • 예: 뉴런 값이 입력의 변화에 따라 달라질 때, 이 값이 출력에 미치는 영향을 평가.

---

2. 적용된 매개 분석 절차

1. 모델 구조의 분해:
   • Transformer 기반 모델(GPT-2)을 뉴런 수준 또는 어텐션 헤드 수준으로 분해.
   • 뉴런: 각 레이어의 특정 뉴런 값을 중재자로 설정.
   • 어텐션 헤드: 특정 레이어의 어텐션 메커니즘(αl,h)을 중재자로 설정.
2. 중재자 설정:
   • 중재자(Mediator):
     • 뉴런: 특정 단어의 표현 벡터 내에서 특정 뉴런의 활성화 값.
     • 어텐션 헤드: 입력 텍스트에서 특정 단어 쌍 간의 어텐션 가중치.
3. 실험 설계:
   • 데이터셋:
     • Winobias & Winogender: 성별 편향을 평가하기 위한 문장(예: 직업 관련 문장에서 대명사 he, she의 사용 가능성).
     • Professions Dataset: 직업과 관련된 성별 편향을 확인하기 위해 설계된 문장 템플릿(예: "The nurse said that...").
   • 조작(Intervention):
     • set-gender: 직업 관련 단어를 특정 성별을 암시하도록 변경(예: nurse → man).
     • null: 원래 문장을 그대로 유지.
4. 효과 측정:
   • 총 효과(Total Effect):
     • 입력 변경에 따른 전체 출력 변화량.
   • 직접 효과(Natural Direct Effect, NDE):
     • 중재자를 원래 상태로 고정한 상태에서 출력 변화량 측정.
   • 간접 효과(Natural Indirect Effect, NIE):
     • 중재자가 입력 변화에 반응하여 출력 변화에 미치는 영향 측정.

---

3. 뉴런 및 어텐션 헤드 분석

1. 뉴런 분석:
   • 개별 뉴런 또는 뉴런 그룹에 대해 간접 효과를 측정.
   • 특정 뉴런이 성별 편향에 얼마나 중요한 역할을 하는지 평가.
   • 결과: 편향은 초기 레이어와 중간 레이어에 집중되어 있음.
2. 어텐션 헤드 분석:
   • 어텐션 가중치(αl,h)를 조작하여 각 어텐션 헤드가 편향 전달에 미치는 영향을 분석.
   • 결과: 특정 레이어(중간 레이어)의 소수 어텐션 헤드가 편향 정보를 집중적으로 전달.

---

4. 방법론의 강점

• 기존의 단순한 상관관계 분석(probing classifiers)과 달리, 인과 관계를 명확히 밝힘.
• 뉴런 및 어텐션 수준에서 편향 정보의 흐름을 세분화하여 설명.

5. 제약 사항

• 분석이 이진적 성별 편향에 국한되어 다중 클래스 또는 연속적 편향에는 적용되지 않음.
• 모델의 구조적 복잡성(예: 뉴런 간 상호작용)에 대한 분석은 부족.

이 방법론은 언어 모델 내부의 성별 편향을 정량적으로 분석하기 위한 강력한 도구이며, 다른 종류의 편향 분석이나 모델 디버깅에도 확장 가능성이 큽니다.

 

예시를 들어서 좀 더 자세하게 설명해주라

논문에서 제시된 방법론을 구체적인 예시를 통해 설명하겠습니다.

---

1. 문제 상황 정의

예시 문장:

"The nurse said that ..."

 

• 모델은 "nurse"라는 단어를 보고 다음 단어로 "she" 또는 "he"를 예측합니다.
• 성별 편향 문제: 많은 언어 모델은 "nurse"와 같은 직업을 여성과 더 강하게 연관짓는 경향이 있어 "she"의 확률을 더 높게 예측합니다.

---

2. 매개 분석 단계별 설명

(1) 총 효과(Total Effect) 측정

• 목적: 입력 문장에서 직업("nurse")을 특정 성별로 변경(set-gender)할 때 출력(예: "she"와 "he" 확률 비율)이 얼마나 달라지는지 측정.

조작 방법:

1. 원래 문장:
   "The nurse said that ..."
   • 출력 확률:
     • p(she∣nurse)=0.22
     • p(he∣nurse)=0.03
   • 편향 비율:
     • ynull=p(he∣nurse)p/(she∣nurse)=0.03/0.22≈0.14
2. 변경된 문장 (set-gender):
    

   "The man said that ..."
   • 출력 확률:
     • p(she∣man)=0.02
     • p(he∣man)=0.32
   • 편향 비율:
     • yset-gender=p(he∣man)/p(she∣man)=0.32/0.02≈13.1
3. 총 효과 계산:
   • 총 효과:
     TE=yset-gender/ynull − 1=13.1/0.14 − 1≈92.6
   • 이 값은 입력을 변경했을 때 성별 편향의 전체적인 변화량을 나타냅니다.

---

(2) 직접 효과(Direct Effect) 측정

• 목적: 입력 변경이 중재자(뉴런 또는 어텐션 헤드)에 영향을 주지 않고 출력에 직접 미치는 영향을 측정.

조작 방법:

• "The nurse said that ..." 문장을 입력한 후, 뉴런 값 또는 어텐션 헤드 값을 변경 전 상태로 고정.
• 즉, 입력이 바뀌어도 뉴런의 상태를 원래 상태로 유지한 채 출력 변화량 측정.

---

(3) 간접 효과(Indirect Effect) 측정

• 목적: 입력 변경이 중재자(뉴런 또는 어텐션 헤드)를 통해 출력에 미치는 영향을 측정.

조작 방법:

• 입력을 변경한 후, 변경된 입력에 따라 중재자 값을 업데이트하고 이 값이 출력에 미치는 영향 측정.

---

3. 중재자의 역할 분석

뉴런의 경우:

• 특정 뉴런이 성별 편향의 매개 역할을 한다면, 이 뉴런 값을 조작했을 때 출력의 성별 편향 변화가 두드러질 것입니다.
• 예를 들어, "nurse"에 대해 특정 뉴런이 "she"에 높은 가중치를 할당한다면, 이 뉴런의 값을 제어하여 "he"의 확률을 높이는 방식으로 영향을 분석합니다.

어텐션 헤드의 경우:

• "The nurse said that ..." 문장에서 "she"가 "nurse"와의 관계를 강조하는 특정 어텐션 헤드가 존재할 수 있습니다.
• 이 어텐션 헤드를 조작하거나 고정하여 해당 헤드가 편향에 미치는 간접적 영향을 측정합니다.

예시:

• 어텐션 헤드 5-8: "she"가 "nurse"와 강한 연결(편향 강화).
• 어텐션 헤드 5-10: "he"가 다른 단어들과의 연결을 형성(편향 감소).

---

4. 결과 요약

1. 뉴런 분석 결과:
   • 뉴런 간편향 효과는 주로 초기 레이어와 중간 레이어에 집중됨.
   • 성별 중립적 정보를 다룰 때는 분포가 더 균등.
2. 어텐션 분석 결과:
   • 소수의 어텐션 헤드(주로 중간 레이어)가 성별 편향 정보 전달에 큰 역할.
   • 특정 헤드는 성별 고정(stereotypical) 정보에, 다른 헤드는 반대 성별(anti-stereotypical) 정보에 반응.

---

5. 정리

이 예시는 모델 내부에서 성별 편향이 뉴런 및 어텐션 헤드를 통해 어떻게 전파되는지 구체적으로 설명합니다. 뉴런과 어텐션 헤드의 효과를 분리하여 직접적/간접적 영향을 측정하는 과정은 모델 해석 및 편향 완화 전략 설계에 중요한 단서를 제공합니다.

 

그럼 이 논문에서는 이렇게 편향을 찾아냈고, 그게 끝인거야?

그렇습니다. 이 논문은 성별 편향을 식별하고 그 원인을 분석하는 데 중점을 둔 연구입니다. 논문의 주요 기여는 언어 모델 내부에서 성별 편향이 발생하는 메커니즘을 체계적으로 분석하는 데 있으며, 이를 통해 편향이 특정 뉴런과 어텐션 헤드에 집중되어 있음을 발견했습니다.

하지만, 이 논문은 편향을 완화하거나 제거하는 방법을 제시하지는 않았습니다. 즉, 편향을 찾아내고 이를 정량적으로 분석하는 데서 연구가 끝났습니다. 구체적으로, 논문에서 편향을 줄이는 방법론이나 실질적인 개선 전략에 대한 제안은 없었습니다.

---

왜 "찾는 것"에서 끝났는가?

1. 연구 목표:
   • 이 논문의 목표는 언어 모델 내부에서 성별 편향이 어떻게 발생하고 전달되는지 이해하는 데 있었습니다.
   • 이를 위해 인과 매개 분석(Causal Mediation Analysis)이라는 방법론을 제안하고, 모델의 성별 편향을 구체적으로 드러내는 데 초점을 맞췄습니다.
2. 해결책 제시의 어려움:
   • 편향을 줄이기 위해서는 단순히 원인을 찾는 것 이상으로 구체적인 개입(intervention)과 모델 수정 방법이 필요합니다.
   • 뉴런이나 어텐션 헤드를 조작해 편향을 제거하려면, 모델의 성능(정확도, 언어 생성 능력 등)에 미치는 영향을 면밀히 평가해야 합니다. 이는 추가적인 실험과 검증이 필요합니다.

---

논문에서 끝난 지점

1. 편향의 확인:
   • 성별 편향은 특정 뉴런과 어텐션 헤드에 집중되어 있음.
   • 특히, 모델의 크기가 커질수록 이러한 편향이 더 뚜렷하게 나타남(GPT2-small vs GPT2-xl).
2. 편향 분석의 기여:
   • 특정 뉴런과 어텐션 헤드가 편향 정보를 전달하는 주요 매개체임을 확인.
   • 이를 통해 편향 감소를 위한 향후 연구 방향성을 제시.
3. 제한점 언급:
   • 이진적 성별 편향에 초점이 맞춰져 있고, 다중 클래스 편향(예: 비이진 성별)이나 다른 언어적/문화적 편향은 다루지 않음.
   • 편향을 수정하거나 제거하는 방법론은 연구의 범위를 넘음.

---

앞으로의 연구 방향

이 논문이 끝나는 지점에서, 이후 연구는 편향을 줄이거나 제거하기 위한 구체적인 개입 방법을 설계하는 데 초점이 맞춰질 수 있습니다. 예를 들어:

1. 편향 감소를 위한 뉴런 조작:
   • 특정 뉴런(또는 어텐션 헤드)에서 편향 정보를 제거하거나, 중립적으로 변경하는 알고리즘 설계.
   • 뉴런 값 조작이 모델의 다른 성능(정확성, 언어 이해력)에 미치는 영향을 평가.
2. 훈련 데이터 개선:
   • 성별 편향을 줄이기 위해 데이터셋을 재구성하거나, 균형 잡힌 데이터를 사용해 모델을 재훈련.
   • 기존의 데이터 증강 기법과 비교해 효과를 측정.
3. 모델 구조 수정:
   • 편향 정보를 효과적으로 억제할 수 있는 새로운 모델 구조 설계.
   • 예: 특정 레이어에서 성별 관련 정보를 제거하거나 대체하는 구조.
4. 다중 언어 및 다문화적 편향 고려:
   • 이 연구는 영어 모델(GPT-2)에 초점이 맞춰져 있으므로, 다른 언어에서도 편향이 동일하게 발생하는지 확인하고 이를 개선.

---

결론

이 논문은 성별 편향의 근본적인 원인을 뉴런과 어텐션 헤드 단위에서 분석했으며, 이는 편향 감소 및 수정 연구의 중요한 기초를 제공합니다. 하지만, 편향을 줄이는 실질적인 해결책은 제공되지 않았으므로, 다음 단계는 이 정보를 활용해 모델을 개선하는 방향으로 연구를 발전시키는 것입니다.

 

그럼 이 논문에서 어떤 데이터셋을 어떻게 사용했는지 알려주라

이 논문에서는 성별 편향을 분석하기 위해 3가지 주요 데이터셋을 사용했습니다. 각각의 데이터셋은 특정한 성별 편향을 평가하기 위해 설계되었으며, 모델의 예측이 성별 고정(stereotypical) 또는 반대 성별(anti-stereotypical) 편향을 나타내는지를 측정하는 데 활용되었습니다.

---

1. Professions Dataset

• 설명:
  • 직업 관련 문장에서 성별 편향을 평가하기 위해 설계된 데이터셋.
  • 직업 이름과 함께 다양한 템플릿 문장을 조합하여 생성.
  • 예:
     

    "The [직업명] said that..." "The [직업명] explained that..."
  • 여기서 [직업명]은 간호사(nurse), 배우(actor/actress), 의사(doctor) 등 직업 이름으로 대체됩니다.
• 데이터 구성:
  • 169개의 직업명과 17개의 템플릿 문장 조합으로 구성.
  • 총 2,873개 문장 생성.
• 분석 방법:
  • set-gender 조작:
    • 특정 직업명을 성별 고정(stereotypical)에서 반대 성별(anti-stereotypical)로 변경.
    • 예: "nurse" → "man", "doctor" → "woman".
  • 모델이 성별 고정적인 예측(예: "nurse" → "she")을 하는지 평가.
  • 중립적 대명사 "they"를 포함한 성별 중립적 편향도 실험.
• 결과:
  • 직업 관련 성별 편향은 강하게 나타났으며, 특히 모델 크기(GPT2-small vs GPT2-xl)에 따라 편향 정도가 증가.

---

2. Winobias Dataset

• 설명:
  • 성별 편향을 가진 코어퍼런스 해석(co-reference resolution)을 평가하기 위해 설계된 데이터셋.
  • Winograd 스키마 스타일의 문장으로 구성.
  • 예:
     

    "The nurse examined the farmer for injuries because she was caring."
    여기서 "she"는 "nurse"를 지칭하며, 이는 성별 고정적인 해석.
• 데이터 구성:
  • Winobias의 Dev/Test 데이터셋에서 총 160개 문장 사용.
• 분석 방법:
  • swap-gender 조작:
    • 문장 내 성별 대명사를 교체.
    • 예: "she" → "he".
  • 성별 고정(stereotypical) 또는 반대 성별(anti-stereotypical) 예측 간의 차이를 비교.
• 결과:
  • 모델의 어텐션 헤드가 성별 고정적인 코어퍼런스 관계를 더 강하게 학습.
  • 어텐션 헤드의 특정 구성 요소가 성별 편향 정보 전달에 중요한 역할을 함.

---

3. Winogender Dataset

• 설명:
  • Winobias와 유사하지만, 성별 고정 편향이 포함된 코어퍼런스 해석을 더욱 구체적으로 평가.
  • 직업명과 대명사를 사용하여 성별 고정 또는 반대 성별 예측 간의 차이를 확인.
• 데이터 구성:
  • Winogender 데이터셋에서 총 44개 문장 사용.
• 분석 방법:
  • Winobias와 동일한 방식으로 성별 대명사(she, he)를 교체하여 모델의 예측 차이를 분석.
• 결과:
  • 모델이 성별 고정적인 코어퍼런스 관계를 더 강하게 예측.

---

4. 데이터셋 사용 방식 요약

• 편향 측정 지표:
  • y(u)=p(anti-stereotypical∣문장)/p(stereotypical∣문장)​
  • 예:
     

    "The nurse said that ..."
    • 고정적 예측: p(she∣nurse)
    • 반대적 예측: p(he∣nurse)
• 조작 방식:
  • 직업명이나 대명사를 바꿔 편향이 모델의 출력에 미치는 영향을 분석.
  • 뉴런 또는 어텐션 헤드 수준에서 직접적/간접적 효과 분리.
• 결과 분석:
  • Professions 데이터셋에서는 단어 수준 편향이 명확히 드러남.
  • Winobias와 Winogender에서는 문맥 수준의 코어퍼런스 편향이 더 두드러짐.

---

결론

논문에서 사용된 데이터셋은 직업, 대명사, 그리고 문맥 수준에서 모델의 성별 편향을 평가하기 위해 설계되었습니다. 각 데이터셋은 서로 다른 수준의 편향(단어 대 문맥)을 측정하며, 이를 통해 뉴런과 어텐션 헤드가 편향 정보 전달에 어떤 역할을 하는지 구체적으로 드러냈습니다.