728x90
728x90
https://arxiv.org/abs/2309.17234
Cooperation, Competition, and Maliciousness: LLM-Stakeholders Interactive Negotiation
There is an growing interest in using Large Language Models (LLMs) in multi-agent systems to tackle interactive real-world tasks that require effective collaboration and assessing complex situations. Yet, we still have a limited understanding of LLMs' comm
arxiv.org
이 논문은 대규모 언어 모델의 협상 능력을 평가하기 위해 설계된 다중 에이전트 협상 환경을 제안합니다.
협상 게임은 에이전트 간의 협력, 탐욕, 적대적 행동을 평가하며, CoT 기반 추론을 활용해 제안을 생성합니다.
실험 결과, GPT-4는 타협적 협상에서 높은 성과를 보였지만, 탐욕적 및 적대적 환경에서는 한계를 드러냈습니다.
주요 기여는 협상 테스트베드 및 LLM의 안전성과 성능 평가를 위한 체계적 벤치마크를 제공한 것입니다.
향후 연구는 LLM의 Theory-of-Mind 능력 강화와 적대적 상황 대응 메커니즘 개발에 초점을 맞춥니다.
| 연구 목적 | LLM을 다중 에이전트 환경에서 평가하고, 협력, 경쟁, 조작 및 적대적 행동에 대한 대응 능력을 분석 |
| 문제 정의 | - 실세계 문제에서 다중 에이전트 협상이 필요한 과제 존재 - LLM의 다중 에이전트 협상 능력 및 안정성 평가 체계 부족 |
| 방법론 | 1. 협상 테스트베드 설계: - 다중 에이전트(6명)와 5가지 이슈 기반 협상 게임 설계 - 각 에이전트는 비공개 점수표와 최소 요구 점수를 가짐 2. 라운드 기반 상호작용: - CoT 기반 추론(관찰, 탐구, 계획 단계 포함) - 라운드 종료 후 최종 제안으로 합의 여부 평가 3. 시나리오 설계: - 협력적, 탐욕적, 적대적 게임 시뮬레이션 |
| 평가 지표 | - 최종 성공률 (5자 또는 6자 합의) - 개별 및 집단 점수 - 오류 제안 비율 - 비공개 정보 누출률 |
| 실험 결과 | - GPT-4: 높은 협상 성공률(81%) 기록 - GPT-3.5: 계산 오류와 ToM 부족으로 성능 저조 - 탐욕적/적대적 시나리오에서 모든 모델 성능 감소 |
| 결론 | - LLM은 협상 능력을 보유했으나 복잡한 상황에서는 한계 존재 - 탐욕적/적대적 에이전트에 대한 대처 능력 강화 필요 |
| 연구의 기여 | - 협상 게임 테스트베드 및 평가 프레임워크 제공 - 다중 에이전트 환경에서 LLM 성능 및 안정성 평가를 위한 벤치마크 개발 |
| 향후 연구 방향 | - ToM 능력 강화 - 탐욕적/적대적 행동 탐지 및 방어 메커니즘 개발 - 협상 게임의 도메인 확장 (정치, 경제 등) |
더보기
좌측 (Left): 협상 구조
- 협상 참여자
- 6명의 에이전트(p1 ~ p6)가 협상에 참여.
- 각각 고유한 비공개 점수(secret scores), 이슈 우선순위(issue priorities), 최소 요구 점수(minimum threshold)를 가짐.
- 이슈 및 선택지
- 협상은 총 5개의 주요 이슈(A, B, C, D, E)로 구성되며, 각 이슈에는 여러 하위 선택지(sub-options)가 있음.
- 예:
- A: a1, a2, a3, a4
- B: b1, b2, b3
- C: c1, c2, c3
- D: d1, d2, d3, d4, d5
- E: e1, e2, e3, e4
- 개별 점수
- 각 에이전트는 선택지에 따라 100점 만점의 개인 점수를 계산.
- 예시:
- 보라색 에이전트의 점수: 55/100
- 파란색 에이전트의 점수: 50/100
- 정보 비공개
- 각 에이전트는 자신의 점수와 우선순위를 알고 있으나 다른 에이전트의 정보를 알 수 없음.
- 눈 아이콘으로 비공개 상태를 나타냄.
우측 (Right): 협상 과정
- 협상 단계
- **p1 (주도자)**가 주도하여 협상 제안을 생성.
- 제안은 p1의 점수를 줄이는 대신 다른 에이전트의 점수(집단 점수)를 증가시키도록 조정.
- 협상은 여러 라운드에 걸쳐 진행되며, 각 라운드마다 제안이 조정됨.
- 집단 점수 증가
- 그래프에서 보듯이, p1은 자신의 점수를 감소시키면서 집단 점수(Collective Score)를 증가시킴.
- 집단 점수가 증가함에 따라 협상의 합의 가능성이 높아짐.
- 그래프
- 분홍색 선 (Own Score): p1의 개별 점수.
- 검은색 선 (Collective Score): 집단 점수의 합계.
- 분홍색 점선 (p1’s Min. Score): p1의 최소 요구 점수.
- p1은 자신의 점수가 최소 요구 점수 이상을 유지하도록 협상 전략을 조정.
협상 성공 전략
- 협력적 조정: 에이전트들은 자신의 점수를 줄이더라도 다른 에이전트의 점수를 증가시켜 집단 점수를 최대화하려 함.
- 최종 목표: 합의를 통해 모든 에이전트의 최소 요구 점수를 충족시키는 공통된 해법에 도달.
Figure 1은 협상 게임의 구조와 진행 과정을 시각적으로 보여주며, 에이전트 간 상호작용과 점수 조정 과정을 잘 설명하고 있습니다. 추가적으로 특정 부분에 대해 더 궁금한 점이 있다면 알려주세요!
더보기
Figure 2: Interaction Protocol
Figure 2는 협상 게임에서 에이전트 간 상호작용 프로토콜을 설명합니다.
1. 프로토콜의 구조
- Initial Prompt (초기 프롬프트):
- 협상의 시작점으로 각 에이전트에게 제공되는 기본 정보.
- 초기 프롬프트에는 다음 정보가 포함됨:
- 협상 주제(이슈)와 하위 선택지.
- 각 에이전트의 역할 및 목표.
- 게임 규칙 및 최소 요구 조건.
- Rounds History (라운드 기록):
- 이전 라운드에서의 제안과 응답이 저장됨.
- 각 에이전트는 이 기록을 바탕으로 다음 라운드의 계획을 수립.
- Previous Plan (이전 계획):
- 이전 라운드에서 각 에이전트가 제안한 계획.
- 현재 라운드에서 수정 및 개선의 참고 자료로 활용.
- Incentive (유인 요소):
- 에이전트가 협상을 통해 자신의 목표를 달성하도록 동기 부여.
- 협력적 또는 개인적 이익을 극대화하기 위한 전략적 요소.
- Structured Prompt (구조화된 프롬프트):
- 에이전트가 사용할 구체적이고 체계적인 제안 생성 가이드.
- 프롬프트는 다음 라운드의 제안 생성을 유도.
2. 라운드 진행 과정
- i번째 라운드의 시작:
- 현재 라운드의 에이전트(purple, i)가 협상을 주도하여 제안을 생성.
- 이 제안은 Initial Prompt, Rounds History, Previous Plan 등을 바탕으로 작성됨.
- 라운드 기록 업데이트:
- 생성된 제안과 응답은 모두 Rounds History에 저장됨.
- 이 기록은 공개적으로 접근 가능하며, 모든 에이전트가 이후 라운드에서 활용 가능.
- 다음 라운드로 진행:
- 다음 라운드의 에이전트(gray, i+1)가 이전 기록을 참고하여 제안을 조정.
- 이 과정이 반복되며 협상이 진행됨.
3. 라운드 기록의 예시
- 각 라운드는 고유한 기록(public answer)을 생성하며, 이전 라운드의 데이터는 누적됨.
- 예:
- i-3번째 라운드: 초기 제안.
- i-2번째 라운드: i-3 제안을 바탕으로 조정된 응답.
- i-1번째 라운드: 더 구체적인 협상 제안.
Figure의 주요 메시지
- 이 프로토콜은 협상 과정에서의 상호작용 투명성과 정보 흐름을 강조.
- 이전 라운드의 기록 및 계획이 다음 라운드에서 개선과 전략 수립에 필수적 역할을 함.
- Structured Prompt는 에이전트가 협상 목표를 달성하기 위한 체계적 도구로 기능.
이 Figure는 협상 게임의 프로세스를 시각적으로 보여주며, 에이전트 간 상호작용의 구조와 흐름을 이해하는 데 도움을 줍니다. 추가적으로 궁금한 점이 있다면 말씀해주세요!
더보기
Figure, Table 설명
Table 1: Prompt 구조 소거(Ablation) 연구
내용 요약
- Prompt 구조의 단계별 중요성을 분석하기 위해 GPT-4와 GPT-3.5의 성능 비교.
- Prompt 구조는 다음과 같은 단계로 구성:
- CoT: Observation (이전 제안 및 타인의 선호 분석)
- CoT: Exploration (후보 선택지 생성)
- CoT: Planning (최종 제안 선택 및 계획)
실험 설정
- 각 Prompt 구조 요소를 제거하며 결과를 비교.
- Final (%): 최종 협상 성공률 (5자 또는 6자 합의 성공률).
- Any (%): 일부라도 합의에 도달한 비율.
- Wrong (%): 비합리적 제안(타협 실패, 최소 점수 미달 등) 비율.
결과
- GPT-4:
- 모든 단계 포함(Row 2): 76%의 최종 협상 성공률 달성.
- Observation 또는 Exploration 제거: 성능 급감, 협상 성공률 약 28%로 감소.
- Planning 제거: 협상 성공률 최저(0%), 완전한 실패.
- GPT-3.5:
- 모든 Prompt 구조가 포함된 경우에도 성능 저조(최종 성공률 0%).
- Observation과 Exploration이 추가되어도 협상 능력 미약.
Figure 3: p1의 점수 진행 분석
내용 요약
- 협상 라운드에서 p1(주도자)의 개인 점수와 집단 점수의 변화 분석.
- 그래프:
- Own Score (분홍색): p1의 개인 점수.
- Collective Score (검은색): 집단 점수의 총합.
- p1’s Min. Score (분홍 점선): p1의 최소 요구 점수.
(a) Best (Row 5)
- 모든 Prompt 단계 포함.
- p1의 개인 점수는 감소하지만 집단 점수가 지속적으로 증가.
- 협상 진행 과정에서 합의가 원활히 이루어짐.
(b) "No Plan" (Row 4)
- Planning 단계가 제외된 경우.
- 초기 몇 라운드에서 점수가 증가하지만, 후반부에 집단 점수가 포화 상태에 이르고 협상이 정체됨.
(c) "No Others" (Row 6)
- 타인의 선호(Observation)를 고려하지 않은 경우.
- p1의 개인 점수는 상대적으로 유지되지만 집단 점수가 감소.
- 합의에 도달하지 못하거나 낮은 집단 점수를 기록.
(d) All Steps (Row 2)
- Observation, Exploration, Planning이 모두 제거된 경우.
- p1이 제안하는 선택지가 집단 점수를 개선하지 못해 협상이 실패로 끝남.
Figure 4: GPT-4 시뮬레이션 예제
설명
- Observation:
- 협상 기록 분석을 통해 모든 참여자가 환경(C3) 강화와 고용 규칙(E2) 개선에 관심이 있음을 파악.
- 선택지 간 갈등(B1/B2, D2/D3)을 분석.
- Exploration:
- 제안된 선택지: A2, B1, C3, D3, E2.
- p1의 최소 요구 점수를 충족하며 집단 점수를 극대화.
- Planning:
- 다른 에이전트들의 요구를 분석하며, 타협 가능성을 검토.
- 협상 과정에서 보상(Compensation)을 통해 지역 도시(D2, D3)의 반발 완화.
결론
- Table 1과 Figure 3/4는 Prompt 구조와 각 단계의 중요성을 강조하며, 이를 통해 협상 성과를 개선할 수 있음을 보여줌.
- Planning과 Observation은 협상 성공의 핵심 요소로 확인됨.
- GPT-4는 구조화된 프롬프트를 활용하여 협상 성공률을 크게 향상시킬 수 있으나, GPT-3.5는 이러한 접근에서도 제한된 성능을 보임.
- Figure 4는 협상 과정에서 GPT-4의 CoT 방식 추론과 제안 생성을 구체적으로 시각화.
더보기
Figure 5: 에이전트의 점수 변화 - 협상 전략 비교
Figure 5는 에이전트의 개인 점수(Own Score)와 집단 점수(Collective Score)가 다양한 협상 전략(Compromising, Greedy, Adversarial)에서 어떻게 변화하는지 보여줍니다. 주요 내용은 아래와 같습니다:
1. 축의 정의
- X축 (p₁'s turn):
- 협상 라운드(1~4)를 나타냄. 각 라운드에서 주도 에이전트(p₁)가 제안하는 상황을 분석.
- Y축 (Score):
- 점수 값으로, p₁의 개인 점수(Own Score), 집단 점수(Collective Score), 그리고 p₁의 최소 요구 점수(p₁'s Min. Score)가 포함됨.
2. (a) Compromising (타협적 협상)
특징
- 개인 점수 감소, 집단 점수 증가:
- p₁의 개인 점수는 일부 감소하지만, 집단 점수는 지속적으로 증가.
- 타협적 협상을 통해 협상 참여자 모두의 이익이 증대됨.
결과
- 라운드가 진행될수록 집단 점수가 최대화되며, 협상 성공 가능성이 높아짐.
- 이는 협력적 접근의 결과로, 에이전트들이 공통의 이익을 우선시함을 보여줌.
3. (b) Greedy (탐욕적 협상)
특징
- 개인 점수 유지 또는 소폭 증가, 집단 점수 감소:
- p₁는 자신의 점수를 극대화하려 노력하며, 집단 점수는 거의 증가하지 않음.
- 다른 에이전트들의 요구를 무시하거나 최소한의 양보만 제공.
결과
- 협상 전체의 효율성이 감소하며, 집단 점수가 정체 상태에 머무름.
- 탐욕적 행동은 협상 성공 가능성을 낮추고 갈등을 증가시킬 위험이 있음.
4. (c) Adversarial (untargeted, 비대상 적대적 행동)
특징
- 무차별적으로 방해:
- p₁는 특정 에이전트를 목표로 하지 않고, 전체 협상을 방해하려 함.
- 개인 점수와 집단 점수 모두 낮아지는 경향.
결과
- 라운드가 진행될수록 집단 점수가 급격히 감소.
- 협상 성공 가능성이 현저히 낮아짐.
5. (d) Adversarial (targeted, 대상 적대적 행동)
특징
- 특정 에이전트를 목표로 방해:
- p₁가 특정 에이전트(pᵥ)를 대상으로 공격적으로 행동.
- 집단 점수는 감소하지만, 공격 대상의 점수가 크게 감소.
결과
- 집단 점수가 하락하며 협상이 실패로 끝날 가능성이 높음.
- 특정 에이전트의 손해를 초래하지만, 협상 전체의 효율성이 무너짐.
Figure의 주요 메시지
- Compromising 전략:
- 집단 점수를 극대화하여 협상 성공 가능성을 높임.
- Greedy 전략:
- 개인 점수는 유지되지만 협상의 효율성을 저하.
- Adversarial 전략:
- 비대상 또는 대상 방해 모두 협상을 실패로 이끌 가능성이 높음.
- 특정 에이전트가 적대적 행동을 보일 경우, 협상 환경 전체가 손상됨.
이 Figure는 협상에서 다양한 전략의 영향을 시각적으로 보여주며, 타협적 접근이 집단적 성공을 보장하는 가장 효과적인 방법임을 강조합니다. 추가 질문이나 세부적인 분석이 필요하다면 말씀해주세요!
더보기
Figure 7: Agents-Payoff Consistency
Figure 7은 환경 보호 이슈에 대한 에이전트들의 선택과 그에 따른 점수(payoff)의 일관성을 분석한 결과를 보여줍니다.
Figure 구조
- X축 (Agents):
- 두 그룹의 에이전트를 나타냄:
- p₁ (Against env. protection): 환경 보호에 대한 낮은 수준의 조치를 선호하는 에이전트.
- pᵢ (With env. protection): 환경 보호에 대한 중간 및 높은 수준의 조치를 선호하는 에이전트.
- 두 그룹의 에이전트를 나타냄:
- Y축 (Votes per protection level %):
- 각 에이전트가 환경 보호 수준에 대해 선택한 비율(%)을 히스토그램으로 나타냄.
- 범례 (Protection Levels):
- 환경 보호 수준의 3가지 선택지:
- Low Protection (파란색): 환경 보호 최소 수준.
- Intermediate Protection (주황색): 환경 보호 중간 수준.
- High Protection (회색): 환경 보호 최고 수준.
- 환경 보호 수준의 3가지 선택지:
결과 분석
- p₁ (Against env. protection)
- Low Protection: 66%의 높은 비율로 선택.
- p₁는 환경 보호 조치를 최소화하는 선택지를 주로 선호.
- Intermediate Protection: 26% 선택.
- 중간 수준의 보호 조치를 일부 수용.
- High Protection: 7%로 매우 낮은 비율.
- 최고 수준의 보호 조치는 거의 선택하지 않음.
- Low Protection: 66%의 높은 비율로 선택.
- pᵢ (With env. protection)
- Low Protection: 0% 선택.
- 환경 보호를 중요시하므로 낮은 수준의 조치는 완전히 배제.
- Intermediate Protection: 54% 선택.
- 중간 수준의 보호 조치를 주로 선호하며, 타협 가능성을 반영.
- High Protection: 45% 선택.
- 환경 보호를 강화하는 선택지에도 높은 선호도를 보임.
- Low Protection: 0% 선택.
Figure의 주요 메시지
- 일관된 선택 경향
- 에이전트들의 선택은 그들의 payoff와 목표에 부합하며, 일관된 선호를 보임.
- p₁는 낮은 환경 보호 조치를 주로 선호하고, pᵢ는 중간 또는 높은 보호 조치를 선호.
- 타협 가능성
- Intermediate Protection (중간 보호 수준)이 가장 높은 선택 비율을 보임.
- 이는 협상에서 타협 가능한 선택지가 중요하다는 점을 강조.
- 상호작용 및 설계 반영
- 에이전트들이 payoff에 따라 행동하지만, 협상 규칙과 목표에 의해 선택이 조정됨.
- 특히, 협상 과정에서 타협(intermediate protection)을 통해 합의 가능성을 높이는 행동이 드러남.
결론
Figure 7은 에이전트들이 payoff에 따라 합리적으로 행동하며, 타협 가능한 중간 선택지를 통해 협상이 원활하게 진행될 가능성을 높이는 모습을 시각적으로 보여줍니다. 추가적으로 분석이 필요한 부분이 있다면 말씀해주세요!
1. 연구 목적
대규모 언어 모델(LLM)을 다중 에이전트 시스템에서 평가하고, 협력, 경쟁, 조작과 같은 중요한 의사소통 및 의사결정 능력을 이해하고자 함.
문제 정의
- LLM은 기존 NLP를 넘어 상호작용과 협업이 필요한 실세계 문제에서 활용됨.
- 협상은 협력, 경쟁, 계획 및 조작 방지를 포함하여 LLM의 다방면 능력을 평가할 수 있는 중요한 과제.
- 현존하는 LLM의 다중 에이전트 상황에서의 성능과 안정성 평가 부족.
2. 연구 방법
a. 협상 테스트베드 설계
- 다중 에이전트, 다중 이슈, 의미적으로 풍부한 협상 게임을 설계.
- 게임의 목표: 각 에이전트가 자신의 목표를 달성하면서 협정을 이뤄내는 것.
- 에이전트는 제한된 정보와 다른 에이전트의 목표를 추론해가며 협상.
- 주요 기술:
- 산술 계산, 전략적 추론, 계획 능력.
- Theory-of-Mind(ToM) 및 상식적 추론 능력.
b. 에이전트의 상호작용 프로토콜
- 각 에이전트는 초기 정보와 자신의 목표에 따른 점수 체계를 제공받음.
- 협상은 라운드별로 진행되며, 에이전트는 역사와 현재 상황에 기반해 제안을 조율.
- 협상 종료 시, 최종 제안으로 합의 여부 평가.
c. 협력, 탐욕, 적대적 시나리오
- 협력적 협상: 타협 가능한 안건을 제안해 합의를 목표.
- 탐욕적 협상: 자신의 이익을 최대화하되 최소한의 합의 조건 충족.
- 적대적 협상: 특정 에이전트를 고립시키거나 합의를 방해하도록 설계.
d. 새로운 게임 생성
- 다양한 협상 게임 생성 및 난이도 조절 가능.
3. 실험 및 평가
a. 실험 설정
- 다양한 LLM (GPT-4, GPT-3.5, Llama 등)을 사용하여 협상 게임을 진행.
- 총 24라운드의 시뮬레이션을 각 모델로 20회 반복하여 평균 성능 측정.
- 평가 지표:
- 합의 성공률: 5자 및 6자 합의 비율.
- 개별 및 집단 점수: 제안된 거래가 각 에이전트와 집단의 목표에 부합하는지.
- 오류 제안 비율: 자신의 최소 요구 조건을 충족하지 못하는 제안 비율.
- 정보 누출률: 비공개 정보를 다른 에이전트에 노출하는 빈도.
b. 결과 요약
- 모델 성능 비교
- GPT-4가 가장 우수했지만, 난이도 상승 시에도 완벽하지 않음.
- GPT-3.5는 계산 오류와 ToM 관련 성능에서 취약.
- Llama 70B는 중간 성능을 보이며 GPT-3.5보다 우수.
- 혼합 에이전트 환경
- 강력한 모델(GPT-4)과 약한 모델(GPT-3.5)이 혼합된 경우 성능 저하.
- 난이도 조절
- 에이전트 수와 최소 요구 점수를 조정하여 난이도 변화 가능.
- 탐욕 및 적대적 시나리오
- 탐욕적/적대적 에이전트가 협상 성공률과 집단 점수에 부정적 영향.
4. 주요 기여
- 협상 게임 벤치마크 제공
- 다중 에이전트 협상에서 LLM 성능과 안정성을 평가할 수 있는 체계적 테스트베드 개발.
- LLM 안전성 연구
- LLM이 조작적 상황에서 어떻게 작동하는지, 그리고 안전성을 개선할 방법 탐구.
- 오픈소스 제공
- 게임 설계 툴킷, 상호작용 플랫폼 및 모델 로그를 공개하여 연구 확장 지원.
5. 결론 및 향후 연구
- 현존하는 최고 수준의 모델도 복잡한 협상 게임에서 한계를 보임.
- 향후 연구 방향:
- 탐구 및 계획 능력 개선.
- 조작 및 공격 방지 메커니즘 개발.
- 편향성 및 윤리적 문제 해결.
방법론
논문 방법론 (Methods)
1. 협상 테스트베드 설계
a. 협상 게임의 구조
- 에이전트
- 각 협상은 6명의 에이전트(플레이어)가 참여:
- 주도자(Proposer): 협상을 제안하고 프로젝트를 주도.
- 반대자(Opposer): 프로젝트가 자신에게 불리하다 생각해 반대.
- 수혜자(Beneficiary): 프로젝트에서 이익을 얻으려 협상.
- 자원 관리자(Resource Manager): 자원을 관리하며 중립적 역할 수행.
- 환경적/지역적 제약자(Environmentalist/Local Advocate): 환경이나 지역적 요인을 중시.
- 각 협상은 6명의 에이전트(플레이어)가 참여:
- 협상 주제(이슈)
- 협상은 5가지 이슈에 대해 진행되며, 각 이슈에는 여러 선택지가 있음.
- 예시:
- 이슈 A (예산): 프로젝트의 예산 수준 (A1: 300M, A2: 500M 등).
- 이슈 B (환경 보호): 환경 보호 수준 (B1: 최소 보호, B2: 보통, B3: 강화).
- 이슈 C (위치): 프로젝트의 위치 (C1: 해안가, C2: 내륙 도시, C3: 인공섬).
- 점수 체계
- 각 에이전트는 각 이슈에 대해 자신만의 비공개 점수표(Preferences)를 가짐.
- 점수는 선택지의 가치를 나타내며, 협상이 성공하려면 에이전트가 최소 요구 점수(Threshold)를 충족해야 함.
2. 에이전트 상호작용 프로토콜
a. 초기 정보 제공
- 각 에이전트는 다음 정보를 전달받음:
- 공개 정보: 프로젝트 목표, 참여자 정보, 이슈와 선택지 설명.
- 비공개 정보: 에이전트의 점수표와 최소 요구 점수.
b. 협상 라운드 진행
- 라운드 구조
- 각 라운드는 한 에이전트가 제안을 하고, 다른 에이전트가 이를 수락하거나 새 제안을 함.
- 협상은 총 24라운드로 진행되며, 라운드마다 최근 6개의 상호작용 기록을 공유.
- 제안 및 응답
- 에이전트는 다음을 고려하여 제안:
- 자신의 점수와 목표를 충족.
- 다른 에이전트의 목표와 가능성을 추론(Theory-of-Mind, ToM).
- 제안은 CoT(Chain-of-Thought) 방식을 통해 단계적으로 작성:
- 관찰(Observation): 이전 제안 분석.
- 탐구(Exploration): 가능한 대안 탐색.
- 계획(Planning): 다음 라운드의 전략 수립.
- 에이전트는 다음을 고려하여 제안:
- 최종 합의
- 마지막 라운드에서 주도자가 최종 제안을 작성.
- 최소 5명의 동의를 얻어야 협상이 성사.
c. 실패 및 성공 조건
- 성공 조건:
- 최소 요구 점수를 충족하며, 주요 에이전트(예: 주도자와 자원 관리자)의 동의를 포함.
- 실패 조건:
- 모든 에이전트의 요구를 충족하지 못하거나 제한된 라운드 내 합의 실패.
3. 협력, 탐욕, 적대적 시나리오
a. 협력적 게임 (Compromising)
- 모든 에이전트가 가능한 합의를 목표로 협력.
- 예시:
- 상황: 예산(B)이 부족하지만 환경(C)을 보강하는 제안을 통해 다수의 동의 확보.
- 결과: A2 (500M), B2 (보통 보호), C3 (인공섬)으로 합의.
b. 탐욕적 게임 (Greedy)
- 일부 에이전트가 자신의 이익을 최대화하려 시도.
- 예시:
- 상황: 한 에이전트가 환경 보호(C)를 낮추고 예산(B)을 높여 자신의 점수 극대화.
- 결과: A3 (800M), B1 (최소 보호)를 제안, 다수 동의 실패.
c. 적대적 게임 (Adversarial)
- 특정 에이전트가 협상을 방해하거나 다른 에이전트를 고립.
- 예시:
- 상황: 적대적 에이전트가 C3 (인공섬)에 집중, 특정 에이전트 반대 유도.
- 결과: 특정 이슈에서 합의 실패.
4. 새로운 게임 생성
- LLM을 이용하여 다양한 게임을 자동 생성:
- 새로운 배경 스토리와 참여자 정의.
- 협상 난이도 조정(점수표 및 선택지 변화).
- 실험마다 새로운 시뮬레이션 제공.
예시 게임
- 프로젝트: 작은 섬에 공항 건설.
- 참여자: 정부, 환경 NGO, 건설 회사, 관광 협회, 지역 주민, 국제 은행.
- 이슈: 예산, 위치, 환경 보호 수준, 주민 보상, 수익 배분.
5. 실험 프레임워크
- CoT 기반 프롬프트를 사용하여 LLM의 단계적 추론을 유도.
- 각 에이전트의 행동을 자동화된 프롬프트로 조율.
- 다양한 모델(GPT-4, GPT-3.5 등)로 시뮬레이션하여 성능 평가.
6. 결과 요약 및 시사점
- 협상 게임은 LLM의 협력 및 조작 능력을 평가하는 강력한 벤치마크로 작용.
- GPT-4는 높은 성능을 보였으나, 탐욕 및 적대적 시나리오에서 여전히 취약.
- 향후 연구 방향:
- LLM의 ToM 개선.
- 적대적 환경에서의 안정성 강화.
결과
논문의 결과, 결론, 마무리
1. 연구 결과 (Results)
a. LLM 성능 평가
- 모델 성능 비교
- GPT-4:
- 협력적 협상에서 높은 성공률(81%)을 기록.
- 탐욕적/적대적 상황에서 안정적이지만 여전히 한계 존재.
- GPT-3.5:
- 계산 오류 및 Theory-of-Mind(ToM) 추론 능력 부족.
- 협력적 협상 성공률 낮음(20%).
- Llama-2/3:
- GPT-3.5보다 성능이 우수했으나, GPT-4에는 미치지 못함.
- Mixtral:
- 협상 게임에서 GPT-3.5와 GPT-4의 중간 성능.
- GPT-4:
- 혼합 모델 환경
- GPT-4와 GPT-3.5를 혼합한 다중 에이전트 환경에서는 협상 성과 저하.
- 특히, 주도자(p1)가 약한 모델(GPT-3.5)이면 전체 성공률 급감.
- 협상 난이도 조정
- 에이전트의 최소 요구 점수와 문제 난이도를 조정하여 성능 변화 관찰.
- 난이도가 증가할수록 모든 모델의 성공률 감소.
- 탐욕적/적대적 시나리오
- 탐욕적 에이전트가 집단 점수를 낮추고 자신의 점수만 극대화.
- 적대적 에이전트는 특정 에이전트를 고립시키거나 협상 실패를 유도.
- GPT-4는 탐욕적/적대적 행동에 대한 대처 능력이 상대적으로 높았음.
2. 결론 (Conclusion)
a. 주요 발견
- LLM의 협상 능력
- LLM은 다중 에이전트 협상에서 어느 정도 성공적이지만, 복잡한 상황에서 성능 한계 존재.
- 특히, ToM과 상호작용의 세부 조정 능력이 부족.
- 탐욕 및 적대적 시나리오
- 탐욕적/적대적 에이전트가 협상의 성과에 심각한 영향을 미침.
- GPT-4는 이러한 상황에서도 일정 수준의 안정성을 보였으나, 여전히 개선 필요.
- 오픈소스 벤치마크
- 연구팀은 협상 게임 생성 도구와 데이터셋을 공개하여 후속 연구 지원.
- 지속적인 게임 난이도 조정을 통해 새로운 모델 평가 가능.
3. 연구의 시사점 및 향후 과제
a. 연구 시사점
- LLM 안전성 연구
- 다중 에이전트 환경에서 조작 및 탐욕적 행동을 탐지하고 방지하는 연구가 필요.
- 적대적 에이전트를 식별하고 이를 효과적으로 제어할 메커니즘 개발 필요.
- 협상 모델 강화
- LLM의 ToM 및 상호작용 추론 능력을 강화하여 복잡한 협상에서도 더 나은 성능 발휘 가능.
- 탐욕적/적대적 에이전트와의 협상에서도 효율성을 유지할 방법 모색.
- 벤치마크 확장
- 다른 도메인(예: 경제, 정치)으로 협상 게임을 확장.
- 비대칭적 에이전트(성능 차이가 큰 모델 간의 협상) 환경에 대한 추가 연구.
b. 향후 연구 방향
- 합의 과정의 효율화
- 협상 시간 단축 및 라운드 수 최적화.
- 새로운 공격 및 방어 메커니즘 연구
- 적대적 에이전트가 다른 에이전트를 고립시키는 공격 탐지.
- 중재자 또는 조정자를 도입해 협상 안정성 강화.
- AI 안전성 및 편향 연구
- 협상 과정에서의 편향성과 윤리적 문제를 해결하기 위한 모델 개발.
4. 마무리 (Closing Remarks)
연구의 요약
이 연구는 LLM이 다중 에이전트 협상 환경에서 어떻게 작동하며, 협력과 경쟁, 조작에 어떻게 대응하는지 체계적으로 분석했습니다. 이를 통해 LLM의 실질적인 한계와 가능성을 드러냈으며, 이를 평가하기 위한 새로운 벤치마크를 제안했습니다.
기여
- 협상 테스트베드와 평가 프레임워크는 LLM 연구자들에게 중요한 도구로 활용될 수 있음.
- 안전성, 공정성, 효율성 향상을 위한 기반 연구 자료로 기여.
이 연구는 LLM과 AI 에이전트의 향후 개발과 응용 가능성에 대한 중요한 통찰을 제공합니다. 추가 질문이나 특정 부분의 심화 분석이 필요하다면 알려주세요!
728x90