How Can We Know What Language Models Know? - 논문 리뷰

https://arxiv.org/abs/1911.12543

How Can We Know What Language Models Know?

https://github.com/WooooDyy/LLM-Agent-Paper-List?tab=readme-ov-file

GitHub - WooooDyy/LLM-Agent-Paper-List: The paper list of the 86-page paper "The Rise and Potential of Large Language Model Base

에이전트 관련 논문은 여기에 싹다 정리되어 있네요

 

 

2019년에 나온 논문으로 상당히 오래되었습니다.

MMLU가 나오기 이전으로 모델 평가부터 정확하게 시작했내요

질문에 대한 답이 나오냐, 안 나오냐로 평가 하였습니다.

질문도 여러 방식을 준비하여 하나만 맞더라도 지식이 존재한다고 판단하고, 엔티티 추출을 통해 자동화된 평가를 진행하였습니다.

 

 

논문 요약: "How Can We Know What Language Models Know?"

문제 정의

기존의 언어 모델(Language Models, LMs)을 활용하여 사실적 지식을 추출하려는 시도는 대부분 수작업으로 작성된 프롬프트를 사용합니다. 하지만 이러한 프롬프트는 최적화되지 않은 경우가 많아 언어 모델이 실제로 알고 있는 지식을 제대로 드러내지 못할 가능성이 큽니다. 따라서 이 논문은 언어 모델이 알고 있는 지식의 하한선을 올리고, 보다 정확하게 평가하기 위한 방법을 탐구합니다.

---

연구 목적

1. 자동으로 고품질의 프롬프트를 생성하는 방법론 개발.
2. 다양한 프롬프트를 결합하여 언어 모델의 지식 회수 성능을 극대화.
3. 기존 평가 방법을 개선하여 언어 모델의 지식 수준에 대한 더 정확한 통찰을 제공.

---

방법론

1. 프롬프트 생성:
   • Mining-based:
     • 위키백과 데이터를 분석하여 특정 관계(예: "x is located in y")에 대한 프롬프트를 자동 생성.
     • 관계를 나타내는 단어를 구문 분석(dependency parsing)으로 추출.
   • Paraphrasing-based:
     • 기존 프롬프트를 바탕으로 역번역(back-translation)을 통해 다양성을 확보한 새로운 프롬프트 생성.
2. 프롬프트 조합 및 최적화:
   • 단일 프롬프트 대신 여러 프롬프트를 결합하여 다양한 문맥에서 지식을 효과적으로 추출.
   • 가중치 최적화를 통해 각각의 프롬프트가 결과에 기여하는 정도를 학습.
3. 데이터셋 및 평가:
   • LAMA 데이터셋(T-REx)을 사용하여 관계 추출 성능 평가.
   • Micro-averaged와 Macro-averaged 정확도를 통해 모델 성능 분석.

---

주요 결과

• 프롬프트 개선:
  • 단일 수작업 프롬프트 대비 성능이 31.1%에서 34.1%로 상승.
  • 다중 프롬프트를 조합한 최적화 방법으로 성능이 39.6%까지 상승.
• 분석 및 통찰:
  • 단순한 문법적 차이나 표현 방식의 변화로도 성능에 큰 영향을 미침.
  • Paraphrased 프롬프트는 다양성을 제공하지만, Mining-based 프롬프트는 더 높은 성능 잠재력을 가짐.

---

한계점

1. 모델 민감성:
   • 언어 모델이 특정 프롬프트에 과도하게 의존.
   • 표현의 작은 변화에도 성능이 변동됨.
2. 모델 간 일반화 부족:
   • 최적화된 프롬프트가 다른 언어 모델에 적용될 때 성능이 다소 감소.
3. 평가 지표의 제한:
   • Micro-averaged 정확도는 객체의 분포 편향에 민감하며, Macro-averaged 평가가 더 엄격한 기준을 제공.

---

논문의 타당성과 아쉬운 점

1. 타당성:
   • 자동화된 프롬프트 생성 및 조합을 통해 기존 한계를 극복하려는 시도가 혁신적.
   • 실험 결과가 데이터 기반으로 명확히 제시됨.
2. 아쉬운 점:
   • 프롬프트 생성 과정에서 노이즈가 포함될 가능성이 있음.
   • 다중 단어 객체 또는 더 복잡한 관계에 대한 확장 필요.

---

연구 방향 제안 (AI 에이전트 연구와의 연결)

1. 다양한 프롬프트를 활용한 AI Agent 설계:
   • 다양한 문맥에서 질문과 답변을 수행할 수 있는 프롬프트 생성을 자동화.
   • 언어 모델의 다중 프롬프트 최적화를 활용해 지식 추론 성능 강화.
2. 지식의 일반화:
   • 다른 모델에서도 효과적으로 작동하는 범용 프롬프트 생성 기술 탐구.
   • 한 모델에서 얻은 지식을 다른 모델로 전이하는 방법론 개발.
3. 지식 보강:
   • 외부 지식 그래프와의 통합으로 언어 모델의 지식 정확도와 커버리지 확장.
4. 에이전트의 안정성 강화:
   • 프롬프트의 작은 변화에도 안정적으로 동작하는 모델 개발.

위 요약과 제안을 기반으로 연구를 구체화한다면 AI Agent 설계 및 평가에 실질적 도움을 줄 수 있을 것입니다.

 

그럼 여기선 프롬프트를 통해 그 개념을 알고 있는지 물어본 거야??
정답 처리는 어떻게 하는거고?

네, 이 논문에서 프롬프트를 통해 언어 모델(LM)이 특정 개념을 "알고 있는지"를 탐구한 것이 핵심입니다. 프롬프트는 언어 모델의 내부 지식을 유도하여 평가하는 도구로 사용되었으며, 이를 통해 LM이 특정 관계나 사실에 대한 지식을 담고 있는지 확인하려 했습니다.

---

프롬프트를 통한 개념 확인

• 개념 확인 방식:
  논문에서 사용한 프롬프트는 자연어 문장을 템플릿 형태로 설계한 것입니다.
  예를 들어, 관계 "x is located in y"에 대해 다음과 같은 프롬프트를 사용합니다:
  • "x is located in y"
  • "The capital of x is y"
  • "x was born in y"
  언어 모델에 이러한 프롬프트를 입력하면, y에 해당하는 단어를 예측합니다. 이 단어가 정답과 일치하면 모델이 그 관계를 "안다"고 평가됩니다.
• 프롬프트 생성 방식:
  1. 수작업 프롬프트: 실험자의 직관으로 작성된 프롬프트.
  2. 자동 생성 프롬프트:
     • Mining-based: 데이터(위키백과)에서 관계를 나타내는 문맥을 자동 추출.
     • Paraphrasing-based: 기존 프롬프트를 다양한 표현으로 재구성.

---

정답 처리 방식

정답 처리는 LM이 예측한 단어가 주어진 정답과 일치하는지에 따라 결정됩니다.

1. 정답 데이터셋:
   • LAMA 벤치마크의 T-REx 데이터셋이 사용되었습니다.
   • 데이터셋은 〈x, r, y〉 형태의 삼중항으로 구성되며, x는 주어, y는 객체, r은 관계입니다.
   • 예: 〈Barack Obama, born in, Hawaii〉
2. 정답 비교:
   • 모델이 프롬프트를 보고 예측한 단어 ŷ를 정답 y와 비교합니다.
   • 예:
     • 프롬프트: "Barack Obama was born in ___"
     • 모델 출력: "Hawaii" → 정답으로 간주.
3. 성공 여부:
   • ŷ와 y가 일치하면 해당 관계에 대한 지식을 "알고 있다"고 평가.
   • 특정 프롬프트에서 정답을 예측하지 못했더라도, 다른 프롬프트에서 정답을 맞추면 해당 관계를 알고 있는 것으로 간주.
4. 평가 지표:
   • Micro-averaged Accuracy: 전체 데이터에서 정답 예측 비율.
   • Macro-averaged Accuracy: 각 객체별 예측 정확도를 평균.

---

프롬프트로 개념을 측정하는 이유

프롬프트 기반 접근은 LM이 내부적으로 저장한 지식(암묵적 학습 내용)을 자연스러운 언어로 탐구하는 방식입니다. 이는 다음과 같은 장점을 제공합니다:

• 언어 모델이 직접적으로 정형화된 쿼리(DB 쿼리처럼 structured query)를 지원하지 않으므로, 자연어 형식의 질문이 필요합니다.
• 언어 모델이 다양한 문맥에서 학습했기 때문에 특정 문맥(프롬프트)에 대해 얼마나 잘 반응하는지 평가할 수 있습니다.

---

한계점

• 언어 모델이 프롬프트에 과도하게 의존하기 때문에, 부적절한 프롬프트가 사용되면 정답을 알고 있어도 틀리게 평가될 수 있습니다.
• 정답으로 처리되는 데이터는 단일 단어(예: "Hawaii")로 제한되었기 때문에, 복잡한 문장이나 다중 단어 객체를 다루는 데는 한계가 있습니다.

이와 같은 방식은 AI 에이전트 연구에서 특정 지식이 존재하는지 평가하거나, 효과적인 질의 응답 시스템을 구축하는 데 활용될 수 있습니다.

 

그럼 이 시스템이 발전한것이 MMLU인가?

네, MMLU(Massive Multitask Language Understanding)는 이 논문에서 소개된 프롬프트 기반 지식 평가 방식의 아이디어와 개념적으로 연관되어 있다고 볼 수 있습니다. 그러나 MMLU는 좀 더 포괄적이고 발전된 평가 프레임워크로서, 언어 모델의 지식과 추론 능력을 다각도로 측정하기 위해 설계된 시스템입니다.

---

MMLU와 논문의 연관성

1. 공통점:
   • 지식 평가: 두 접근 모두 언어 모델이 실제로 무엇을 알고 있는지 탐구하려는 목표를 공유합니다.
   • 다양한 질문 유형: 단일 방식(예: 프롬프트 기반)에서 벗어나 모델의 다재다능한 능력을 테스트하려는 점에서 공통적입니다.
2. 차이점:
   • 범위:
     • 논문에서는 LAMA 같은 특정 관계 중심의 데이터셋(T-REx)을 사용해 언어 모델이 사실적 지식을 얼마나 잘 회수할 수 있는지 탐구합니다.
     • MMLU는 훨씬 넓은 범위의 57개 도메인(역사, 과학, 공학, 일반 상식 등)에서 다양한 유형의 질문을 포함하여 모델의 지식과 이해도를 테스트합니다.
   • 평가 목적:
     • 논문의 목표는 프롬프트 최적화를 통해 모델의 지식을 정확히 평가하는 것입니다.
     • MMLU는 모델의 지식, 추론, 응용 능력까지 포괄적으로 평가합니다.
   • 질문 형식:
     • 논문에서는 특정 관계를 포함하는 cloze-style 프롬프트(빈칸 채우기)를 주로 사용합니다.
     • MMLU는 다지선다형(Multiple-Choice) 질문 형식을 사용하여 실제 시험과 유사한 환경에서 모델을 평가합니다.

---

MMLU의 주요 특징

1. 다양한 도메인:
   • 57개 도메인(수학, 의학, 역사 등)의 문제를 포함해 언어 모델이 실제로 얼마나 다양한 주제를 이해할 수 있는지 측정합니다.
   • 도메인의 난이도는 초등 수준부터 대학원 수준까지 다양합니다.
2. 평가 방식:
   • 객관식 문제를 제공하며, 언어 모델은 주어진 선택지 중 정답을 예측해야 합니다.
   • 모델이 단순히 학습 데이터에 의존하지 않고 추론과 종합적 사고를 사용하는지를 평가.
3. 결과 해석:
   • 단순히 모델의 지식 수준을 측정하는 것을 넘어, 모델이 사람과 유사한 사고 방식을 하는지를 분석합니다.
   • 모델이 특정 도메인에서 약점을 보이는지 파악 가능.

---

MMLU의 발전된 점

MMLU는 단순한 지식 평가에서 벗어나 다음과 같은 측면에서 발전된 평가 시스템입니다:

1. 지식 + 추론 능력 평가:
   • MMLU는 단순히 지식의 유무를 넘어서, 문맥 이해, 논리적 추론, 응용 능력까지 평가합니다.
   • 예를 들어, 역사적 사건의 결과를 묻는 질문뿐 아니라, 그 원인을 설명하는 추론을 요구할 수 있습니다.
2. 데이터 편향 감소:
   • 논문에서 사용된 LAMA 데이터셋은 단일 단어 정답에 초점이 맞춰져 있어 복잡한 문맥의 평가가 제한적입니다.
   • MMLU는 학문적, 실용적 지식이 포함된 다양한 문제를 다룸으로써 데이터 편향의 영향을 줄였습니다.
3. 사람과의 비교 가능성:
   • MMLU는 모델 성능을 사람의 시험 점수와 비교할 수 있도록 설계되어 있습니다.
   • 예를 들어, "대학 수학 시험 수준에서 사람의 평균 점수 대비 모델의 성능은 어떤가?"와 같은 비교가 가능합니다.

---

요약 및 통찰

MMLU는 논문의 프롬프트 최적화 기반 평가 방법론이 확장되고 체계화된 형태라고 볼 수 있습니다. MMLU는 언어 모델의 종합적인 이해도를 평가하기 위한 테스트 벤치로, 연구자들이 다양한 도메인에서 모델의 성능을 객관적으로 평가할 수 있도록 돕습니다. 이 두 시스템의 연속성을 기반으로 AI 에이전트 연구에서는 다음과 같은 방향성을 모색할 수 있습니다:

1. 다양한 도메인에서 에이전트의 성능을 테스트하는 MMLU와 같은 멀티태스크 평가 프레임워크를 연구에 활용.
2. 프롬프트 최적화 기법을 활용하여 AI 에이전트가 특정 질문에 더 정교하게 답할 수 있도록 설계.
3. MMLU 데이터셋을 기반으로 학습한 에이전트가 실제로 활용 가능한 분야를 분석하고 발전 방향을 설정.

 

그럼 이 논문의 결과와 이 논문을 통해서 얻어낼 수 있는 것에 대해 말해줘

논문의 결과와 이를 통해 얻을 수 있는 것

1. 논문의 주요 결과

이 논문은 언어 모델(LM)의 지식 수준을 평가하는 새로운 방법론을 제시했습니다. 주요 결과는 다음과 같습니다:

1. 프롬프트 최적화:
   • 기존의 수작업으로 작성된 프롬프트를 개선하는 방법론을 개발했습니다.
   • Mining-based 및 Paraphrasing-based 프롬프트 생성 방식을 통해 정확도를 향상.
     • BERT-base의 정확도: 31.1% → 39.6% (+8.5%)
     • BERT-large의 정확도: 32.3% → 43.9% (+11.6%)
2. 프롬프트 다양성의 효과:
   • 단일 프롬프트 대신 여러 프롬프트를 조합(ensemble)하면 성능이 더욱 향상됨.
   • 프롬프트의 다양성은 언어 모델이 학습한 지식의 다양한 맥락을 효과적으로 유도할 수 있다는 것을 입증.
3. 언어 모델의 지식 유도 방식 분석:
   • 언어 모델이 특정 관계를 이해하는 방식은 프롬프트의 표현과 밀접하게 연관되어 있음.
   • 프롬프트 표현의 작은 변화(단어 교체, 문법 수정)도 성능에 큰 영향을 미칠 수 있음.
4. LPAQA(LM Prompt and Query Archive) 공개:
   • 최적화된 프롬프트 데이터를 아카이브 형태로 공개하여 연구 커뮤니티가 쉽게 활용할 수 있도록 기여.

---

2. 논문을 통해 얻어낼 수 있는 것

1. 언어 모델의 지식 수준에 대한 정밀한 평가 방법:
   • 기존에는 수작업 프롬프트로 인해 언어 모델의 지식이 과소 평가되었을 가능성이 큼.
   • 자동화된 프롬프트 생성과 최적화 방법을 통해, 모델이 실제로 알고 있는 지식의 하한선을 올릴 수 있음.
   • 이는 언어 모델이 실제로 얼마나 "똑똑한지"에 대한 더 정교한 측정을 가능하게 함.
2. 프롬프트 최적화의 실용적 응용:
   • 언어 모델을 지식 기반으로 활용할 때, 효과적인 프롬프트 설계가 성능을 크게 좌우함을 증명.
   • 이는 질문-답변 시스템(Q&A), 정보 추출, 챗봇 설계 등 프롬프트를 사용하는 모든 응용 분야에서 응용 가능.
3. 프롬프트의 다양성과 효율성:
   • 다양한 표현을 사용하여 모델이 지식을 얼마나 잘 유도할 수 있는지 이해.
   • 프롬프트를 여러 개 결합(ensembling)함으로써 지식 회수의 효율성을 극대화하는 방법론 제공.
4. 미래 연구 방향 제시:
   • 모델의 견고성 연구:
     • 프롬프트 표현의 변화에 민감하지 않은 언어 모델 개발 필요성 제시.
   • 프롬프트-기반 지식 응용:
     • 언어 모델의 지식을 DB와 같은 구조적 정보와 결합하는 새로운 응용 연구 가능.
   • 학습 데이터와 모델 성능의 상관 관계:
     • 모델이 특정 관계를 학습하는 방식과 학습 데이터의 문맥 구조를 분석.
5. AI 에이전트 개발에 대한 통찰:
   • 언어 모델 기반 에이전트가 프롬프트 최적화 기술을 사용해 복잡한 질문에도 효과적으로 답변 가능.
   • 에이전트가 다양한 문맥과 질문 유형을 처리할 수 있는 지식 기반 시스템 구축 가능.

---

3. 실용적 활용과 통찰

이 논문을 기반으로 할 때, 얻어낼 수 있는 실질적 이점은 다음과 같습니다:

1. 언어 모델을 효율적으로 활용하기 위한 가이드라인:
   • 특정 질문이나 작업에서 최적의 성능을 발휘하려면 어떤 유형의 프롬프트가 효과적인지에 대한 구체적인 방법론을 제공.
   • 이는 실무에서 챗봇, 검색 시스템, 정보 추출 등 다양한 애플리케이션의 성능 최적화에 직접 활용 가능.
2. AI 연구와 응용의 확장성:
   • 기존 언어 모델의 한계를 극복하고, 언어 모델을 지식 기반 응용에서 더 효과적으로 사용할 수 있도록 방향 제시.
   • 예를 들어, 복잡한 연구 질문을 처리하거나 자동으로 지식을 탐구할 수 있는 AI 에이전트를 설계하는 데 유용.
3. 프롬프트 디자인을 통한 지식 체계화:
   • 모델이 학습한 지식을 보다 체계적으로 활용하고 평가할 수 있는 방법론으로, AI 설계와 학습 전략 최적화 가능.

이 논문의 결과를 통해 언어 모델의 지식 회수 효율성을 높이고, 이를 다양한 AI 시스템에 통합하는 연구를 발전시킬 수 있습니다.

 

mining-based 랑 paraphraing-based 방식에 대해 설명해줘

Mining-based 방식과 Paraphrasing-based 방식의 상세 설명

이 논문에서 소개된 Mining-based와 Paraphrasing-based 프롬프트 생성 방식은 언어 모델(LM)의 지식을 효과적으로 평가하기 위한 프롬프트를 자동 생성하는 핵심 방법입니다. 두 방식 모두 언어 모델이 특정 관계를 얼마나 잘 이해하고 있는지 측정하기 위해 프롬프트 다양성을 제공합니다.

---

1. Mining-based 방식

개념

• 데이터 기반 접근으로, 대규모 코퍼스(위키백과 등)에서 관계를 나타내는 패턴을 추출하여 프롬프트를 자동 생성합니다.
• 특정 주어(subject)와 객체(object) 간의 관계가 나타난 문맥을 탐색하여 그 관계를 가장 잘 표현하는 프롬프트를 생성합니다.

방법론

1. 데이터 수집:
   • 위키백과 같은 대규모 코퍼스에서 관계(예: 〈x, r, y〉)가 포함된 문장을 식별합니다.
   • 예: Barack Obama was born in Hawaii에서 Barack Obama와 Hawaii가 포함된 문장을 수집.
2. 프롬프트 생성:
   • 중간 단어(Middle-word) 기반:
     • 주어(x)와 객체(y) 사이에 있는 단어를 관계를 표현하는 프롬프트로 변환.
     • 예: Barack Obama was born in Hawaii → x was born in y.
   • 구문 분석(Dependency-based) 기반:
     • 주어와 객체 간의 의존 관계를 분석하여 관계를 설명하는 구문을 추출.
     • 예: The capital of France is Paris → 의존 관계 분석 결과 → x is the capital of y.

특징

• 장점:
  • 사람이 작성하지 않은 새로운 프롬프트를 자동으로 생성 가능.
  • 관계가 코퍼스에 다양하게 표현된 경우, 유연하게 반영 가능.
• 단점:
  • 데이터 노이즈: 일부 문장은 관계를 명확히 나타내지 않을 수 있음(예: x, y 같은 모호한 프롬프트).
  • 데이터 의존성: 관계를 명시적으로 포함하지 않는 코퍼스에서는 성능이 떨어질 수 있음.

---

2. Paraphrasing-based 방식

개념

• 기존의 프롬프트를 다양한 표현으로 변환하여, 더 많은 맥락에서 언어 모델의 지식을 평가합니다.
• 하나의 초기 프롬프트(seed prompt)를 기반으로 유사하지만 표현이 다른 여러 프롬프트를 생성합니다.

방법론

1. 기존 프롬프트 준비:
   • 수작업 또는 Mining-based 방식으로 생성된 초기 프롬프트를 사용.
   • 예: x shares a border with y.
2. 파라프레이징(Paraphrasing) 과정:
   • 역번역(Back-translation):
     • 초기 프롬프트를 다른 언어로 번역한 후 다시 영어로 번역.
     • 다양한 표현의 프롬프트를 생성할 수 있음.
     • 예:
       • 영어 → 독일어 → 영어로 번역.
       • x shares a border with y → x has a common border with y → x adjoins y.
   • 랭킹:
     • 생성된 프롬프트를 점수화(예: 번역 품질이나 확률 기반)하여 상위 프롬프트를 선택.

특징

• 장점:
  • 프롬프트의 다양성을 극대화하여 언어 모델이 학습한 다양한 문맥을 탐구 가능.
  • 기존 프롬프트의 품질을 유지하면서도 새로운 표현 추가 가능.
• 단점:
  • 파라프레이징된 프롬프트가 원래 의미와 완전히 일치하지 않을 가능성.
  • 역번역 과정에서 품질이 낮은 문장이 생성될 수도 있음.

---

Mining-based와 Paraphrasing-based 방식 비교

특징Mining-basedParaphrasing-based

특징	Mining-based	Paraphrasing-based
입력 데이터	대규모 코퍼스 (위키백과 등)	기존 프롬프트
출력 방식	데이터에서 관계를 직접 추출	기존 프롬프트를 다양한 표현으로 변환
다양성	새로운 프롬프트를 무제한 생성 가능	기존 프롬프트의 표현만 변경
의존성	데이터에 크게 의존	초기 프롬프트의 품질에 의존
장점	관계 표현이 코퍼스에 있는 경우 강력한 성능 발휘	기존 프롬프트의 의미를 유지하며 새로운 표현 생성 가능
단점	데이터 노이즈로 인해 품질이 저하될 수 있음	의미 변형 또는 품질 저하 가능

---

실제 활용과 통찰

• Mining-based 방식은 대규모 코퍼스에 의존하여 새로운 패턴을 찾는 데 강점이 있지만, 노이즈를 걸러내는 추가 과정이 필요합니다.
• Paraphrasing-based 방식은 기존 프롬프트의 개선에 적합하며, 이미 학습된 관계를 다양한 맥락에서 테스트할 수 있습니다.

이 두 방식을 결합하면, 관계 탐지와 지식 회수 성능을 극대화할 수 있습니다. 예를 들어, Mining-based 방식으로 생성된 프롬프트를 Paraphrasing-based 방식으로 다양화하면 더 넓은 범위에서 언어 모델의 지식을 평가할 수 있습니다.

 

그럼 이렇게 자동화된 평가를 진행한 것은 이 논문이 처음이야?

아니요, 이 논문이 자동화된 평가를 처음으로 시도한 것은 아닙니다. 하지만 이 논문은 기존 연구에서 부족했던 부분을 체계적으로 개선하여 언어 모델의 지식 평가를 더 효과적으로 수행한 점에서 큰 기여를 했습니다.

---

기존 연구와의 차별점

1. 기존의 자동화된 평가 시도

• 언어 모델의 내부 지식을 평가하려는 자동화된 시도는 이전에도 있었습니다. 특히, LAMA(Language Model Analysis) 데이터셋과 관련된 연구들이 언어 모델의 지식을 자동으로 평가하는 데 초점을 맞췄습니다.
  • Petroni et al., 2019:
    • LAMA라는 벤치마크를 소개하며, 언어 모델의 지식 저장 능력을 테스트하기 위해 cloze-style 프롬프트를 사용.
    • 예: "Barack Obama was born in [MASK]" → "Hawaii" 예측.
    • 제한된 수의 수작업 프롬프트를 사용하여 평가.

2. 기존 접근의 한계

기존 연구는 자동화된 평가의 초기 단계로 의미가 있었지만, 몇 가지 한계를 가지고 있었습니다:

• 수작업 프롬프트의 의존성:
  • 실험자의 직관에 의존하여 설계된 프롬프트가 최적화되지 않아 언어 모델이 실제로 알고 있는 지식을 모두 평가하지 못했을 가능성이 있음.
  • 수작업 프롬프트는 표현의 다양성이 부족하여, 언어 모델이 학습한 다양한 문맥을 반영하지 못함.
• 평가 결과의 하한선:
  • 프롬프트의 질에 따라 모델이 알고 있는 지식이 과소 평가될 가능성.
  • 특정 표현(예: x was born in y)에 대해서는 높은 성능을 보이지만, 다른 표현(예: x is from y)에서는 성능이 떨어질 수 있음.

---

이 논문의 차별성과 기여

이 논문은 기존의 자동화된 평가 연구를 확장하고 개선한 사례로 다음과 같은 차별성을 가집니다:

1. 프롬프트 자동 생성 도입:
   • Mining-based와 Paraphrasing-based 방법론을 통해 수작업 프롬프트의 한계를 극복.
   • 데이터를 기반으로 관계를 자동으로 추출하거나, 기존 프롬프트를 다양한 표현으로 변형하여 평가의 표현적 다양성을 확대.
   • 이는 기존 연구에서 부족했던 "최적화된 프롬프트"를 자동으로 생성하여 평가 성능을 대폭 향상시킴.
2. 다양한 프롬프트 결합:
   • 단일 프롬프트에 의존하지 않고, 여러 프롬프트를 조합(ensembling)하여 다양한 문맥에서 지식을 평가.
   • 프롬프트 결합을 통해 각 프롬프트가 특정 관계를 더 잘 유도하는 맥락적 특성을 활용.
3. 더 정교한 성능 평가:
   • LAMA 벤치마크와 비교하여, 더 높은 정확도와 다양성을 가진 프롬프트로 모델의 지식 평가 성능을 개선.
   • 모델이 알고 있는 지식의 하한선을 기존보다 더 높게 설정하여 보다 정확한 평가 가능.
4. LPAQA(LM Prompt and Query Archive) 공개:
   • 최적화된 프롬프트와 평가 코드를 공개하여 연구 커뮤니티가 동일한 방법론을 활용할 수 있도록 함.
   • 이는 향후 연구의 재현성과 확장 가능성을 크게 높이는 기여.

---

이 논문의 "처음"인 부분

이 논문이 처음 시도한 점은 다음과 같습니다:

• 프롬프트 자동 생성과 최적화를 결합한 시스템:
  • Mining-based와 Paraphrasing-based 접근을 결합하여, 수작업 프롬프트의 한계를 극복.
• 프롬프트의 다양성을 활용한 지식 평가 개선:
  • 단일 표현에 의존하지 않고, 여러 표현을 사용해 언어 모델이 학습한 다양한 문맥을 평가.
• 최적화된 프롬프트의 체계적 공유:
  • 평가 결과를 체계적으로 정리하여 커뮤니티에 공개(LPAQA).

---

결론

따라서 이 논문은 "언어 모델의 지식을 자동화된 방식으로 평가하려는 기존 연구의 발전형"이라고 할 수 있습니다. 기존 연구의 한계를 개선하고, 언어 모델의 지식을 더 정확하고 효과적으로 평가하기 위한 시스템을 구축한 것이 핵심 기여입니다.

이 논문의 기여는 단순히 평가 성능을 향상시키는 것뿐만 아니라, 이후 연구자들이 언어 모델의 지식 평가와 활용을 더 발전시킬 수 있는 기반을 제공했다는 점에서 매우 중요합니다.