APT-Pipe: A Prompt-Tuning Tool for Social Data Annotation using ChatGPT - 리뷰

https://www.arxiv.org/abs/2402.01697

LLM이 발전하면서 프롬프트 튜닝의 중요성이 점점 올라가고 있다.

LLM이 분류를 진행하려면 프롬프트 튜닝이 점점 중요해지는데 이건 전문적이다 -> APT-pipe를 통해 자동적으로 프롬포트를 만들자

도전과제

1. chatGPT의 출력은 정형적이지 않다
2. 예시가 있으면 성능이 올라가지만 찾는데 힘들다 - 텍스트 유사도를 통해 자동적으로 선택하자
3. 메트릭이 있으면 성능이 올라가지만 도메인 지식이 필요하다.

논문 "APT-Pipe: A Prompt-Tuning Tool for Social Data Annotation using ChatGPT"는 다음과 같은 내용을 다루고 있습니다.

핵심 아이디어

APT-Pipe는 대형 언어 모델(LLM)인 ChatGPT를 사용하여 소셜 컴퓨팅 텍스트의 라벨링 작업을 자동화하기 위해 제안된 도구입니다. 기존의 프롬프트 튜닝 기법들은 주로 수동 노력과 데이터셋에 대한 사전 지식을 요구하는데, 이를 개선하고자 APT-Pipe는 자동화된 프롬프트 튜닝 파이프라인을 제안합니다.

중요한 점

1. 자동화된 프롬프트 튜닝: APT-Pipe는 프롬프트 튜닝을 자동화하여 ChatGPT의 텍스트 분류 성능을 향상시킵니다.
2. 다양한 데이터셋 테스트: 열두 개의 서로 다른 텍스트 분류 데이터셋에 대해 테스트를 수행하여 APT-Pipe의 효과를 입증합니다.
3. 유연한 프레임워크: 추가적인 튜닝 메커니즘을 지원할 수 있도록 확장 가능한 구조를 갖추고 있습니다.

해결한 문제

기존 프롬프트 튜닝 방식의 수동 노력과 데이터셋에 대한 사전 지식 의존성을 줄이고, 자동화된 방식으로 효율성을 높였습니다.

기존 방식에서의 개선점

1. 수동 노력 감소: 기존의 수동 프롬프트 튜닝 과정을 자동화하여 연구자들이 데이터셋에 대한 사전 지식 없이도 프롬프트를 튜닝할 수 있도록 했습니다.
2. 효율성 증가: 자동화된 파이프라인을 통해 더 일관되고 빠른 프롬프트 튜닝을 가능하게 했습니다.

결과

APT-Pipe는 열두 개의 데이터셋 중 아홉 개에서 평균 7.01%의 F1-score 향상을 달성했습니다. 또한, 프롬프트 튜닝을 통해 ChatGPT의 응답 시간이 줄어들고 응답 형식의 일관성이 증가했습니다.

한계점

1. 도메인 제한: 세 가지 주요 도메인(뉴스 분류, 입장 감지, AI 글쓰기 감지)에서만 테스트되었으며, 다른 도메인에서는 추가적인 검증이 필요합니다.
2. 라벨링 부담: APT-Pipe를 사용하기 위해서는 연구자가 소량의 데이터를 수동으로 라벨링해야 하는 부담이 있습니다.

중요 아이디어

1. 자동화된 프롬프트 생성 및 튜닝: JSON 기반 템플릿을 사용하여 일관된 응답 형식을 유지하면서 자동으로 최적의 프롬프트를 생성합니다.
2. Few-shot 예제 선택: 텍스트 유사도 계산을 통해 적절한 예제를 자동으로 선택하여 프롬프트에 포함시킵니다.
3. NLP 메트릭 활용: 감정, 감성, 독성 등의 추가 메트릭을 프롬프트에 포함시켜 ChatGPT의 분류 성능을 향상시킵니다.

APT-Pipe는 프롬프트 튜닝의 자동화 및 효율성 증대를 목표로 하며, 다양한 데이터셋에서 그 성능을 입증했습니다. 다만, 다양한 도메인에서의 추가 검증 및 라벨링 부담을 줄이기 위한 연구가 필요합니다.

학습이 없는건가?

APT-Pipe의 학습 방식은 전통적인 의미에서의 학습(예: 모델의 파라미터를 업데이트하는 과정)과는 다릅니다. APT-Pipe는 프롬프트 튜닝을 통해 LLM(대형 언어 모델)인 ChatGPT의 성능을 최적화하는 방법론입니다. 따라서, 모델 자체를 재학습시키지는 않지만, 주어진 작업에 대해 더 나은 성능을 낼 수 있도록 프롬프트를 조정하는 과정이 포함되어 있습니다. 아래는 APT-Pipe의 주요 학습 및 튜닝 방법입니다.

프롬프트 튜닝 방법

1. JSON 템플릿 기반 초기 프롬프트 생성:
   • 초기 프롬프트는 JSON 형식으로 구성되며, 이 템플릿은 일관된 응답 형식을 보장합니다.
   • 사용자(연구자)가 이 템플릿을 기반으로 초기 프롬프트를 구성합니다.
2. Few-shot 예제 포함:
   • 프롬프트에 몇 가지 예제를 포함시켜 모델이 작업의 맥락을 이해하도록 돕습니다.
   • 데이터셋에서 선택된 예제는 텍스트 유사도 계산을 통해 자동으로 선택됩니다.
   • 이러한 예제를 포함시켜 모델이 더 나은 예측을 할 수 있도록 합니다.
3. NLP 메트릭을 통한 프롬프트 강화:
   • 감정, 감성, 독성 등의 추가적인 NLP 메트릭을 프롬프트에 포함시켜 모델의 분류 성능을 향상시킵니다.
   • 선택된 메트릭은 XGBoost 분류기를 사용하여 각 메트릭의 예측력을 평가한 후 결정됩니다.

학습 과정

APT-Pipe의 학습 과정은 프롬프트의 효과를 평가하고, 이를 기반으로 프롬프트를 조정하는 반복적인 과정입니다. 다음은 그 과정의 주요 단계입니다.

1. 초기 프롬프트 설정:
   • 연구자는 JSON 템플릿을 기반으로 초기 프롬프트를 설정합니다.
2. Few-shot 학습:
   • 텍스트 유사도 계산을 통해 적절한 예제를 선택하고, 이를 프롬프트에 포함시켜 모델의 성능을 평가합니다.
   • 프롬프트에 포함된 예제가 모델의 성능을 향상시키는지 확인하기 위해 테스트를 진행합니다.
3. NLP 메트릭 평가 및 선택:
   • 다양한 NLP 메트릭을 평가하여, 각 메트릭이 모델의 성능에 미치는 영향을 분석합니다.
   • 가장 효과적인 메트릭을 프롬프트에 포함시켜 모델의 성능을 최적화합니다.

결과 평가

• APT-Pipe는 테스트 데이터셋에서 ChatGPT의 성능을 평가하고, 프롬프트 튜닝의 효과를 분석합니다.
• 성능 평가에는 F1-score, precision, recall 등의 지표가 사용되며, 프롬프트 튜닝의 성능 향상을 확인합니다.

이러한 과정을 통해 APT-Pipe는 모델 자체를 재학습시키지 않지만, 주어진 작업에 대해 더 나은 성능을 낼 수 있도록 프롬프트를 조정합니다. 이는 전통적인 모델 학습과는 다른 접근 방식이지만, 실제 응용에서 중요한 성능 향상을 가져올 수 있습니다.

APT-Pipe 프로세스 시각화

1. 초기 프롬프트 설정 (Initial Prompt Setup)
   • JSON 템플릿 아이콘: { "Prompt": "Classify the text...", "Text": "{text}", "Task": "{task}", "Labels": ["Label 1", "Label 2"], "Desired format": { "Label": "<label>" } }
   • JSON 템플릿을 기반으로 초기 프롬프트를 설정하는 단계를 나타냅니다.
2. Few-shot 예제 선택 (Few-shot Example Selection)
   • 텍스트 유사도 계산 아이콘: 텍스트와 텍스트 사이에 연결된 선, 유사도를 나타내는 숫자들.
   • 예제 선택을 통해 프롬프트에 포함시킬 몇 가지 예제를 자동으로 선택하는 단계를 나타냅니다.
3. NLP 메트릭 통합 (NLP Metrics Integration)
   • 감정, 감성, 독성 등의 메트릭 아이콘: 감정 아이콘(웃는 얼굴, 슬픈 얼굴 등), 감성 아이콘(긍정, 부정 등), 독성 아이콘(위험 표지 등).
   • 선택된 NLP 메트릭을 프롬프트에 포함시켜 모델의 성능을 향상시키는 단계를 나타냅니다.
4. 평가 및 반복 (Evaluation and Iteration)
   • 성능 평가 아이콘: 그래프 아이콘(F1-score, precision, recall 등), 반복 화살표.
   • 프롬프트 튜닝의 효과를 평가하고, 성능이 향상될 때까지 반복하는 단계를 나타냅니다.

설명

각 단계를 연결하는 화살표를 통해 전체 프로세스의 흐름을 시각적으로 표현합니다. 예를 들어, 초기 프롬프트 설정에서 Few-shot 예제 선택으로, 다시 NLP 메트릭 통합으로, 마지막으로 평가 및 반복 단계로 이어지는 식입니다.

이러한 시각화는 APT-Pipe의 주요 단계를 명확하게 보여주고, 각 단계가 어떻게 상호작용하여 최종적으로 ChatGPT의 성능을 향상시키는지를 한눈에 이해할 수 있도록 돕습니다.

annotation accuracy?

"Annotation accuracy"란 데이터에 라벨(태그)을 붙이는 과정에서 정확도를 의미합니다. 즉, 주어진 텍스트나 데이터에 대해 모델이 올바른 라벨을 할당하는 능력을 평가하는 것입니다.

구체적으로 설명

Annotation Accuracy:

• 정의: 모델이 데이터에 대해 정확한 라벨을 할당하는 정도를 측정하는 지표입니다.
• 의미: 높은 annotation accuracy는 모델이 주어진 데이터에 대해 정확한 라벨을 잘 붙인다는 것을 의미합니다. 반대로 낮은 annotation accuracy는 모델이 잘못된 라벨을 자주 붙인다는 것을 의미합니다.

예시로 이해

1. 감정 분석:
   • 텍스트: "이 제품 정말 좋아요!"
   • 정확한 라벨: 긍정
   • Annotation Accuracy: 모델이 이 텍스트에 대해 "긍정" 라벨을 할당하면 정확한 것이고, "부정" 라벨을 할당하면 부정확한 것입니다.
2. 뉴스 분류:
   • 텍스트: "오늘 날씨는 맑음"
   • 정확한 라벨: 날씨
   • Annotation Accuracy: 모델이 이 텍스트에 대해 "날씨" 라벨을 할당하면 정확한 것이고, "스포츠" 라벨을 할당하면 부정확한 것입니다.

문맥에서의 의미

논문에서 언급된 "annotation accuracy"는 프롬프트의 품질에 크게 영향을 받는다고 합니다. 즉, 프롬프트가 잘 튜닝되지 않으면 모델이 잘못된 라벨을 할당할 가능성이 높아지며, 이는 결과적으로 라벨링 작업의 정확도를 심각하게 저하시킬 수 있다는 의미입니다.

요약

"Annotation accuracy"는 모델이 주어진 데이터에 대해 정확한 라벨을 붙이는 능력을 측정하는 지표입니다. 이 정확도는 프롬프트의 품질에 의해 크게 영향을 받으며, 잘못된 프롬프트는 라벨링 작업의 정확도를 낮출 수 있습니다.

사전 지식 주입?

해당 부분의 이해를 돕기 위해 내용을 좀 더 상세하게 설명해 드리겠습니다.

원문 해석

1. Manual Prompt-Tuning (수동 프롬프트 튜닝):
   • 대부분의 프롬프트 튜닝 작업은 수동으로 이루어집니다.
   • 연구자나 데이터 과학자가 직접 프롬프트를 설계하고 수정하여 최적의 결과를 얻기 위해 반복 작업을 수행합니다.
2. Prior Knowledge Injection (사전 지식 주입):
   • 데이터셋에 대한 사전 지식을 프롬프트에 포함시키는 방법입니다.
   • 데이터셋의 특성, 도메인 지식 등을 프롬프트에 반영하여 모델의 성능을 향상시키려 합니다.
3. Challenges with ChatGPT (ChatGPT 프롬프트 튜닝의 어려움):
   • ChatGPT를 위한 프롬프트 튜닝은 전문 지식을 요구하는 경우가 많습니다.
   • 이는 일반 연구자나 사용자가 접근하기 어려운 과제가 될 수 있습니다.

세부 설명

수동 프롬프트 튜닝

• 설명: 연구자들이 직접 프롬프트를 작성하고 테스트하면서 최적화하는 방식입니다.
• 예시: 텍스트 분류 작업에서 "이 텍스트는 긍정인가 부정인가?"와 같은 질문을 프롬프트로 설정하고, 그 결과를 보고 프롬프트를 수정하는 과정을 반복합니다.
• 문제점: 시간이 많이 소요되고, 반복적인 작업이 필요하며, 최적의 결과를 얻기 위해 많은 시도가 필요합니다.

사전 지식 주입

• 설명: 데이터셋에 대한 도메인 지식이나 특정 정보를 프롬프트에 포함시켜 모델의 성능을 높이는 방법입니다.
• 예시: 특정 뉴스 기사 분류 작업에서 "정치 뉴스"나 "스포츠 뉴스"와 같은 카테고리를 프롬프트에 명시적으로 포함시킵니다.
• 문제점: 데이터셋에 대한 깊은 이해와 지식이 필요하며, 모든 도메인에 대해 동일하게 적용하기 어렵습니다.

ChatGPT 프롬프트 튜닝의 어려움

• 설명: ChatGPT와 같은 대형 언어 모델을 튜닝할 때, 프롬프트를 최적화하는 것이 매우 어렵습니다.
• 이유:
  • 전문 지식 필요: 적절한 프롬프트를 설계하기 위해서는 모델의 내부 작동 방식과 데이터셋의 특성에 대한 깊은 이해가 필요합니다.
  • 복잡성: ChatGPT와 같은 모델은 매우 복잡하여, 어떤 프롬프트가 최적의 성능을 낼지 예측하기 어렵습니다.
  • 시간과 비용: 반복적인 튜닝 작업은 많은 시간과 계산 비용이 소요됩니다.

요약

대부분의 프롬프트 튜닝 작업은 수동으로 이루어지거나 데이터셋에 대한 사전 지식을 포함시키는 방식으로 수행됩니다. 그러나 ChatGPT와 같은 대형 언어 모델을 위한 프롬프트 튜닝은 전문 지식이 필요하고, 이로 인해 접근하기 어려운 과제가 됩니다. APT-Pipe는 이러한 문제를 자동화된 방식으로 해결하려는 도구입니다.

manuall exemplar

이 부분을 좀 더 명확하게 이해할 수 있도록 자세히 설명해 드리겠습니다.

원문 해석

1. Few-shot 예제 포함의 효과:
   • 초기 연구 결과는 annotation(라벨링) 작업에서 few-shot 예제를 포함시키면 성능이 향상될 수 있음을 시사합니다.
2. 수동 예제 선택의 문제점:
   • 그러나 수동으로 적절한 예제를 선택하는 과정은 시간이 많이 소요됩니다.
3. 자동화된 예제 선택 기술의 필요성:
   • 따라서, 프롬프트를 위해 적절한 few-shot 예제를 자동으로 식별하는 기술이 개발되어야 합니다.

세부 설명

Few-shot 예제 포함의 효과

• 설명: few-shot 예제는 모델이 주어진 작업을 더 잘 이해할 수 있도록 몇 가지 예제를 함께 제공하는 방법입니다.
• 예시:
  • "이 텍스트를 긍정 또는 부정으로 분류하시오"라는 프롬프트에 대해 모델이 더 나은 예측을 할 수 있도록 몇 가지 긍정 및 부정 예제를 함께 제공하는 것입니다.
  • 예를 들어, "이 제품은 정말 좋아요! -> 긍정", "이 제품은 별로예요 -> 부정" 등의 예제를 제공합니다.
• 효과: 이러한 예제는 모델이 어떤 식으로 분류해야 하는지 학습할 수 있도록 도와줍니다.

수동 예제 선택의 문제점

• 설명: 연구자가 적절한 예제를 수동으로 선택하여 프롬프트에 포함시키는 과정은 많은 시간과 노력이 필요합니다.
• 예시: 연구자가 전체 데이터셋을 살펴보고, 가장 적합한 예제를 골라내어 프롬프트에 포함시키는 작업을 반복해야 합니다.
• 문제점:
  • 시간 소요: 데이터셋이 크면 클수록 수동 작업에 걸리는 시간이 증가합니다.
  • 노동 집약적: 반복적인 작업이 필요하며, 이는 매우 노동 집약적입니다.

자동화된 예제 선택 기술의 필요성

• 설명: 수동 작업의 한계를 극복하기 위해, 적절한 few-shot 예제를 자동으로 식별하고 선택하는 기술이 필요합니다.
• 해결책:
  • 자동화된 예제 선택 알고리즘: 텍스트의 유사도를 계산하여 적절한 예제를 자동으로 선택하는 알고리즘을 개발합니다.
  • 효율성 향상: 이러한 자동화된 기술을 통해 시간을 절약하고 더 정확한 예제를 선택할 수 있습니다.
• 예시: 데이터셋의 모든 텍스트에 대해 유사도를 계산하고, 주어진 텍스트와 가장 유사한 예제를 선택하여 프롬프트에 포함시킵니다.

요약

1. Few-shot 예제 포함: 모델의 성능을 향상시킬 수 있지만 수동으로 선택하면 시간이 많이 소요됩니다.
2. 수동 작업의 문제: 시간이 많이 들고 노동 집약적입니다.
3. 자동화의 필요성: 적절한 few-shot 예제를 자동으로 식별하는 기술이 필요합니다.

이해하기 쉽게 풀어보면, few-shot 예제를 포함하면 모델이 더 잘 작동할 수 있지만, 연구자가 직접 예제를 선택하는 것은 너무 시간이 많이 들기 때문에, 이를 자동으로 해주는 기술이 필요하다는 의미입니다.

NLP Mertics?

해당 문단을 잘 이해할 수 있도록 자세히 설명해 드리겠습니다.

원문 해석

1. NLP 메트릭의 효과:
   • 프롬프트에 자연어 처리(NLP) 메트릭을 포함시키면 성능이 향상된다는 초기 연구 결과가 있습니다.
2. NLP 메트릭 선택의 어려움:
   • 이러한 메트릭을 선택하는 데는 도메인(분야)별 전문 지식이 필요합니다.
3. 자동화된 선택 기술의 필요성:
   • 프롬프트에 포함할 최적의 NLP 메트릭 조합을 선택하는 기술이 개발되어야 합니다.
   • 데이터셋마다 적합한 메트릭이 다를 수 있기 때문에, 단일 접근 방식은 비현실적입니다.

세부 설명

NLP 메트릭의 효과

• 설명: NLP 메트릭은 텍스트의 특성을 수치화하거나 요약하는 다양한 지표를 말합니다. 이러한 지표를 프롬프트에 포함시키면 모델이 텍스트를 더 잘 이해하고 분류할 수 있게 도와줍니다.
• 예시:
  • Sentiment (감정 분석): 텍스트의 감정이 긍정적인지 부정적인지를 나타내는 메트릭.
  • Emotion (감성 분석): 텍스트의 감정을 세부적으로 분석하여 기쁨, 슬픔, 분노 등의 감정을 나타내는 메트릭.
  • Toxicity (독성 분석): 텍스트에 독성, 공격성, 비하 등의 요소가 포함되어 있는지 나타내는 메트릭.
• 효과: 이러한 메트릭을 포함시키면 모델이 텍스트의 맥락과 의미를 더 잘 파악할 수 있어 분류 성능이 향상됩니다.

NLP 메트릭 선택의 어려움

• 설명: 어떤 NLP 메트릭이 특정 작업에 가장 유용할지 결정하는 것은 쉽지 않으며, 도메인별로 전문 지식이 필요합니다.
• 예시:
  • 뉴스 기사 분류에서는 감정 분석이 중요할 수 있지만, 혐오 발언 탐지에서는 독성 분석이 더 중요할 수 있습니다.
  • 도메인에 따라 어떤 메트릭이 중요한지 아는 것은 전문가의 지식이 필요합니다.
• 문제점: 적절한 메트릭을 선택하기 위해서는 데이터셋과 작업에 대한 깊은 이해가 필요하며, 이를 잘못 선택하면 성능이 저하될 수 있습니다.

자동화된 선택 기술의 필요성

• 설명: 적절한 NLP 메트릭을 자동으로 선택할 수 있는 기술이 필요합니다.
• 해결책:
  • 알고리즘 개발: 다양한 NLP 메트릭을 테스트하고, 특정 데이터셋에서 가장 효과적인 조합을 자동으로 선택하는 알고리즘을 개발합니다.
  • 효율성 향상: 이러한 기술을 통해 연구자는 각 데이터셋에 최적화된 메트릭을 선택할 수 있어 성능을 극대화할 수 있습니다.
• 데이터셋별 차이:
  • 데이터셋마다 특성이 다르기 때문에, 한 가지 접근 방식만으로는 모든 데이터셋에 적용하기 어렵습니다.
  • 예를 들어, 영화 리뷰 데이터셋과 소셜 미디어 게시물 데이터셋은 서로 다른 메트릭이 필요할 수 있습니다.

요약

1. NLP 메트릭 포함의 효과: 프롬프트에 NLP 메트릭을 포함시키면 성능이 향상될 수 있습니다.
2. 선택의 어려움: 적절한 메트릭을 선택하는 데는 도메인별 전문 지식이 필요합니다.
3. 자동화된 선택 기술의 필요성: 데이터셋마다 적합한 메트릭이 다를 수 있기 때문에, 최적의 NLP 메트릭 조합을 자동으로 선택하는 기술이 필요합니다.

전체 문단 설명

이 문단은 프롬프트에 NLP 메트릭을 포함시키면 성능이 향상될 수 있지만, 이를 위해서는 도메인별 전문 지식이 필요하다고 설명합니다. 따라서, 각 데이터셋에 적합한 메트릭 조합을 자동으로 선택할 수 있는 기술이 필요하며, 단일 접근 방식은 비현실적이라는 점을 강조하고 있습니다.

파이프라인 진행?

이 문단은 APT-Pipe가 어떻게 작동하는지를 설명하고 있습니다. 각 단계와 APT-Pipe의 특징을 이해하기 쉽게 풀어 설명해 드리겠습니다.

문단 설명

1. 작은 샘플 데이터 라벨링 (Annotating a Small Sample Subset)
   • 설명: APT-Pipe는 사람들에게 작은 샘플 데이터에 대해 라벨을 달도록 요청합니다. 이 샘플 데이터는 전체 데이터셋을 대표할 수 있는 "강력한 정답(ground truth)"을 제공합니다.
   • 목적: 초기 프롬프트 튜닝과 테스트를 위해 필요한 기본 데이터를 확보합니다.
2. 자동 프롬프트 튜닝 및 테스트 (Automatically Tune and Test Prompts)
   • 설명: APT-Pipe는 위에서 라벨링한 샘플 데이터를 사용하여 프롬프트를 자동으로 튜닝하고 테스트합니다.
   • 목적: ChatGPT의 분류 성능을 향상시키기 위해 프롬프트를 최적화합니다.
3. 세 가지 주요 단계 (Three-Step Prompt-Tuning Pipeline)
   • 설명: APT-Pipe는 세 가지 주요 단계를 통해 위에서 언급한 세 가지 문제를 해결합니다.
     • JSON 템플릿 프롬프트 생성 (Generating JSON Template Prompts):
       • ChatGPT가 일관되게 응답할 수 있도록 JSON 형식의 템플릿 프롬프트를 생성합니다.
     • Few-shot 예제 자동 선택 (Automatically Computing Few-shot Examples):
       • 가장 적합한 few-shot 예제를 자동으로 계산하여 프롬프트에 포함시킵니다.
     • NLP 메트릭을 사용한 프롬프트 테스트 (Testing Prompts with NLP Metrics):
       • 여러 NLP 메트릭을 사용하여 다양한 프롬프트 구성을 테스트하고, 특정 데이터셋에 가장 적합한 구성을 찾습니다.
4. 경험과 문헌 기반 (Experience and State-of-the-literature)
   • 설명: 이러한 세 가지 단계는 연구자들의 경험과 기존 문헌을 기반으로 도출되었습니다.
5. 확장 가능하고 모듈화된 설계 (Extensible and Modular Design)
   • 설명: APT-Pipe는 향후 다른 프롬프트 튜닝 기술이 등장할 것을 고려하여, 다른 연구자들이 쉽게 추가적인 튜닝 전략을 "플러그인"할 수 있도록 확장 가능하고 모듈화된 방식으로 설계되었습니다.
   • 목적: 새로운 프롬프트 튜닝 기술이 나와도 쉽게 적용할 수 있도록 유연성을 제공합니다.

요약

APT-Pipe는 소량의 샘플 데이터를 라벨링한 후, 이를 이용해 프롬프트를 자동으로 튜닝하고 테스트하여 ChatGPT의 성능을 향상시킵니다. 세 단계로 구성된 파이프라인을 통해 JSON 템플릿 프롬프트를 생성하고, few-shot 예제를 자동으로 선택하며, NLP 메트릭을 사용하여 다양한 프롬프트 구성을 테스트합니다. 이러한 과정은 경험과 기존 문헌에 기반하며, 확장 가능하고 모듈화된 설계를 통해 다른 연구자들이 추가적인 튜닝 전략을 쉽게 적용할 수 있도록 합니다.

실험 과정

4. 실험 설정 (Experimental Settings)

이 섹션에서는 실험 설정을 설명합니다. 평가에 사용된 데이터셋, 메트릭, 파이프라인 구현 등이 포함됩니다.

4.1 작업 도메인 및 데이터셋 (Task Domains and Datasets)

• 뉴스 분류 (News classification):
  • 데이터셋: Ag’s News, SemEval-19, Sarcasm news headline dataset, Clickbait news headline dataset
• 입장 감지 (Stance detection):
  • 데이터셋: SemEval-16, P-Stance, Vax-Stance, RU-Stance
• AI 글쓰기 감지 (AI-writing detection):
  • 데이터셋: Tweepfake, FakeHate, GPT-Article, GPT-Wiki

총 12개의 공개 데이터셋을 사용했으며, 데이터셋이 3,000개 항목을 초과하면 분류 라벨에 따른 층화 표본 추출을 통해 3,000개 항목으로 제한했습니다. 이는 ChatGPT API의 속도 및 비용 제한 때문입니다.

4.2 평가 메트릭 (Evaluation Metrics)

• 분류 성능 (Classifier performance):
  • 지표: 가중 F1-score, precision, recall
• 응답 파싱 가능성 (Responses’ parsability):
  • 정의: 원하는 형식으로 라벨을 보고하는 응답의 비율. JSON 구문을 사용하여 응답을 파싱함.
• 시간 비용 (Time cost):
  • 정의: ChatGPT가 주석 응답을 반환하는 데 걸리는 시간. 요청 시간을 정규화하여 토큰당 시간으로 해석.

4.3 프롬프트 증강을 위한 NLP 메트릭 (NLP Metrics for Prompt Augmentation)

• 감정 (Sentiment):
  • 모델: XLM-T
  • 지표: 긍정, 중립, 부정
• 감성 (Emotion):
  • 모델: Emotion English DistilRoBERTa-base
  • 지표: 분노, 혐오, 공포, 기쁨, 중립, 슬픔, 놀라움
• 독성 (Toxicity):
  • 모델: Google Perspective API
  • 지표: 전체 독성, 심각한 독성, 정체성 공격, 모욕, 비속어, 위협
• 주제 (Topic):
  • 모델: BERTopic
  • 지표: 주요 주제를 설명하는 키워드

4.4 베이스라인 (Baselines)

• Cloze 프롬프트:
  • 정의: 텍스트의 빈칸이나 가려진 부분을 채우도록 요구하는 질문 형식
  • 예시: "The text '{text to classify}' is classified as [Label]."
• 사전형 프롬프트 (Dictionary prompt):
  • 정의: 일반적인 사전 형태로 프롬프트를 구성
  • 예시: "Text: '{text to classify}'. Task: {task domain}. Labels: [Label 1, Label 2, ...]."
• JSON 프롬프트:
  • 정의: JSON 형식으로 인코딩된 프롬프트

4.5 실험 구현 (Experimental Implementation)

• ChatGPT 설정:
  • 사용 모델: gpt-3.5-turbo
  • 파라미터: temperature=0 (응답을 집중시키고 결정론적 결과를 제공)
• 데이터셋 분할:
  • 비율: 학습(60%), 검증(20%), 테스트(20%)
  • APT-Pipe 튜닝을 위해 학습 및 검증 세트를 결합하여 단일 입력 데이터셋으로 사용하고, Step 3에서는 다시 분할하여 사용.
• 메트릭 순위를 위한 분류기:
  • 알고리즘: Extreme Gradient Boosting (XGBoost)
  • 파라미터: objective="binary:logistic", seed=42

요약

이 섹션에서는 APT-Pipe의 실험 설정을 설명합니다. 12개의 공개 데이터셋을 사용하여 뉴스 분류, 입장 감지, AI 글쓰기 감지를 테스트합니다. 평가 메트릭으로는 가중 F1-score, precision, recall, 응답 파싱 가능성, 시간 비용을 사용합니다. 프롬프트 증강을 위해 감정, 감성, 독성, 주제와 같은 NLP 메트릭을 사용하며, 이를 자동으로 선택하고 테스트합니다. 여러 베이스라인 프롬프트와 비교하여 APT-Pipe의 성능을 평가합니다. ChatGPT 설정, 데이터셋 분할, 메트릭 순위를 위한 XGBoost 분류기 사용 등을 통해 실험을 구현합니다.

프롬프트 증강?

네, 여기서 프롬프트 증강이란 단순히 프롬프트의 양을 늘리는 것을 의미하는 것이 아니라, 프롬프트의 성능을 향상시키기 위해 다양한 NLP 메트릭들을 추가하는 것을 의미합니다. 이를 통해 모델이 텍스트를 더 잘 이해하고 분류할 수 있도록 돕는 것입니다. 좀 더 구체적으로 설명하면 다음과 같습니다.

프롬프트 증강 (Prompt Augmentation)

목적: 프롬프트에 추가 정보를 포함시켜 ChatGPT가 더 정확한 라벨링을 할 수 있도록 성능을 향상시키는 것.

사용된 NLP 메트릭

1. 감정 (Sentiment)
   • 모델: XLM-T
   • 설명: 텍스트의 감정 극성을 나타내는 메트릭으로, 긍정, 중립, 부정의 세 가지 차원으로 구성됩니다.
   • 사용 방식: 프롬프트에 해당 텍스트의 감정 점수를 포함시켜 모델이 텍스트의 감정적 맥락을 이해하도록 돕습니다.
2. 감성 (Emotion)
   • 모델: Emotion English DistilRoBERTa-base
   • 설명: 텍스트의 감정을 세부적으로 분석하는 메트릭으로, 분노, 혐오, 공포, 기쁨, 중립, 슬픔, 놀라움의 일곱 가지 감정으로 구성됩니다.
   • 사용 방식: 프롬프트에 감성 점수를 포함시켜 모델이 텍스트의 감정적 뉘앙스를 이해하도록 돕습니다.
3. 독성 (Toxicity)
   • 모델: Google Perspective API
   • 설명: 텍스트에 독성, 공격성, 비하 등의 요소가 포함되어 있는지를 나타내는 메트릭으로, 전체 독성, 심각한 독성, 정체성 공격, 모욕, 비속어, 위협의 여섯 가지 속성으로 구성됩니다.
   • 사용 방식: 프롬프트에 독성 점수를 포함시켜 모델이 텍스트의 유해성을 이해하도록 돕습니다.
4. 주제 (Topic)
   • 모델: BERTopic
   • 설명: 텍스트의 주요 주제를 나타내는 메트릭으로, 텍스트의 주제를 설명하는 대표 단어 목록으로 구성됩니다.
   • 사용 방식: 프롬프트에 주제 키워드를 포함시켜 모델이 텍스트의 주요 내용을 이해하도록 돕습니다.

예시

프롬프트에 NLP 메트릭을 포함시키는 방식은 다음과 같습니다:

{
  "Prompt": "Classify the following text by given labels for specified task.",
  "Text": "This product is amazing!",
  "Task": "Sentiment Analysis",
  "Labels": ["Positive", "Neutral", "Negative"],
  "NLP Metrics": {
    "Sentiment": {
      "Introduction": "Scores of sentiment leaning of text (ranging from 0 to 1).",
      "Scores": {"Positive": 0.85, "Neutral": 0.10, "Negative": 0.05}
    },
    "Emotion": {
      "Introduction": "Scores of emotion leaning of text (ranging from 0 to 1).",
      "Scores": {"Joy": 0.90, "Neutral": 0.05, "Surprise": 0.05}
    }
  }
}

이 예시에서 프롬프트는 텍스트의 감정과 감성 메트릭을 포함하여 모델이 해당 텍스트를 긍정적으로 분류할 가능성을 높입니다.

요약

• 프롬프트 증강: 프롬프트에 NLP 메트릭을 포함시켜 모델의 성능을 향상시키는 것.
• NLP 메트릭의 역할: 텍스트의 감정, 감성, 독성, 주제 등의 정보를 제공하여 모델이 텍스트를 더 잘 이해하고 분류할 수 있도록 돕습니다.
• 효과: 프롬프트 증강을 통해 더 일관되고 정확한 라벨링 성능을 얻을 수 있습니다.

결론

5. 결과 (Results)

이 섹션에서는 APT-Pipe의 성능을 평가하고, 단계별 프롬프트 튜닝 방법의 효과를 보여주는 ablation 연구를 수행합니다.

5.1 전체 주석 성능 (Overall Annotation Performance)

• 성능 비교:
  • APT-Pipe는 12개의 데이터셋 중 9개에서 가장 높은 가중 F1-score를 기록했습니다.
  • 두 번째로 높은 F1-score를 기록한 베이스라인과 비교하여 평균 7.01% (𝑆𝐷 = 9.74%)의 향상을 보였습니다.
  • 이는 APT-Pipe가 ChatGPT의 전체 주석 성능을 향상시키는 데 효과적임을 입증합니다.
• 세부 지표:
  • 가중 Precision: 평균 1.18% (𝑆𝐷 = 1.36%) 향상
  • 가중 Recall: 평균 4.88% (𝑆𝐷 = 7.70%) 향상
• 도메인별 성능:
  • 뉴스 분류: 평균 2.20% (𝑆𝐷 = 0.80%) 향상
  • 입장 감지: 평균 1.22% (𝑆𝐷 = 0.48%) 향상
  • AI 글쓰기 감지: 평균 17.61% (𝑆𝐷 = 11.19%) 향상
  • AI 글쓰기 감지에서 가장 큰 성능 향상을 보였으며, 이는 작업 도메인에 따라 APT-Pipe의 효과가 달라질 수 있음을 시사합니다.

5.2 ChatGPT 응답의 효과성 (Effectiveness of ChatGPT’s Responses)

• 파싱 가능성 (Parsability):
  • APT-Pipe가 생성한 응답의 평균 파싱 가능성: 97.08% (𝑆𝐷 = 2.79%)
  • APT-Pipe는 dictionary 프롬프트와 비교하여 평균 16.47%의 파싱 가능성 향상을 보였지만, cloze 프롬프트나 plain JSON 프롬프트와 비교하면 약간 감소했습니다.
• 시간 비용 (Time Cost):
  • APT-Pipe는 cloze 프롬프트와 비교하여 토큰당 0.157초, plain JSON 프롬프트와 비교하여 0.041초의 추가 시간 비용이 발생했습니다.
  • 이는 튜닝된 프롬프트가 추가 정보를 포함하고 있어 성능 향상을 위해 시간이 더 필요함을 의미합니다.

5.3 Ablation Study

• 연구 목적: 각 단계의 개선 효과를 측정하기 위해 수행되었습니다.
• 비교 방법:
  • Step 2 없이: 초기 JSON 프롬프트에 NLP 기능 선택 모듈(Step 3)을 바로 적용.
  • Step 3 없이: Step 2의 few-shot 또는 zero-shot 프롬프트만 사용.
• 결과:
  • APT-Pipe는 12개의 데이터셋 중 9개에서 F1-score 기준으로 우수한 성능을 보였습니다.
  • Step 2 없이: F1-score에서 6.12%, precision에서 0.96%, recall에서 4.85% 향상.
  • Step 3 없이: F1-score에서 1.31%, precision에서 1.36%, recall에서 1.72% 향상.
  • 이는 APT-Pipe의 통합된 프롬프트 튜닝 단계가 텍스트 주석 작업에서 ChatGPT의 성능을 향상시키는 데 효과적임을 보여줍니다.

요약

이 섹션은 APT-Pipe의 성능을 평가하고, 단계별 프롬프트 튜닝 방법의 효과를 분석합니다. APT-Pipe는 12개의 데이터셋 중 9개에서 가장 높은 성능을 기록했으며, 특히 AI 글쓰기 감지에서 큰 성능 향상을 보였습니다. 응답의 파싱 가능성과 시간 비용을 고려할 때, APT-Pipe는 약간의 시간 비용을 지불하는 대신 높은 성능을 제공합니다. Ablation 연구 결과, 통합된 프롬프트 튜닝 단계가 ChatGPT의 성능을 향상시키는 데 매우 효과적임을 입증했습니다.

파싱 가능성?

파싱 가능성 (Parsability)는 모델이 생성한 응답을 원하는 형식으로 쉽게 해석하고 처리할 수 있는 능력을 의미합니다. 이는 응답이 정해진 형식에 맞게 구조화되어 있어야 함을 전제로 합니다.

구체적인 설명

파싱 가능성:

• 정의: 주어진 텍스트나 데이터가 정해진 형식에 맞게 구조화되어 있어 컴퓨터 프로그램이 이를 쉽게 해석하고 처리할 수 있는 능력.
• 예시:
  • JSON 형식의 응답: {"label": "positive"}와 같이 특정 키-값 쌍으로 명확하게 구조화된 응답은 쉽게 파싱할 수 있습니다.
  • 정해진 형식: 응답이 항상 Label: <label>와 같은 형식을 따를 때 파싱이 용이합니다.

논문에서의 파싱 가능성

논문에서 APT-Pipe의 파싱 가능성은 다음과 같이 설명됩니다:

• 평균 파싱 가능성: APT-Pipe가 생성한 응답의 97.08%가 원하는 형식으로 파싱 가능했습니다. 이는 응답의 대부분이 정해진 형식에 맞게 구조화되었음을 의미합니다.
• 비교:
  • Dictionary 프롬프트와 비교: APT-Pipe는 dictionary 프롬프트와 비교하여 파싱 가능성을 평균 16.47% 향상시켰습니다. 이는 APT-Pipe가 dictionary 프롬프트보다 더 일관된 형식으로 응답을 생성한다는 것을 보여줍니다.
  • Cloze 프롬프트와 plain JSON 프롬프트와 비교: APT-Pipe는 cloze 프롬프트나 plain JSON 프롬프트와 비교할 때 약간의 파싱 가능성 감소를 보였습니다. 이는 APT-Pipe가 더 많은 정보를 포함하기 위해 응답의 복잡성을 증가시켰기 때문일 수 있습니다.

요약

• 파싱 가능성은 모델이 생성한 응답을 정해진 형식으로 쉽게 해석할 수 있는 능력을 의미합니다.
• APT-Pipe는 대부분의 응답을 원하는 형식으로 생성하여 높은 파싱 가능성을 보입니다.
• 이는 응답이 일관된 형식으로 제공될 때, 이를 처리하고 분석하는 데 있어 큰 이점이 됩니다.

 

사전 학습된 annotation에 의존한다 ! -> 자동화된 APT 파이프를 통해 성능 향상을 이뤄보자!

문제 제기와 해결 

제이슨이 응답 성능 향상 

open ai의 모델을 사용해 cos 유사도 높은 것 가져오기 

XG BOOST는 비교 모델이다 - 

cloze? 평가 방식의 ?
cloze - 빈칸 채우기
dic - 딕셔너리