Language Models of Code are Few-Shot Commonsense Learners

https://arxiv.org/abs/2210.07128

Language Models of Code are Few-Shot Commonsense Learners

이 모델은 명확하게 들어오지 않네요...?

 

 

COCOGEN은 구조적 상식(reasoning) 그래프를 생성하기 위해 코드 생성 언어 모델(Code LLMs)을 활용하는 방법이다.

자연어 입력을 Python 코드로 변환하면, Code LLMs가 학습한 데이터와 유사성이 높아 그래프 생성 정확도가 향상된다.

Few-shot 학습 설정(5~30개 샘플)에서도 기존 자연어 모델(NL-LLMs) 및 fine-tuned 모델보다 뛰어난 성능을 보인다.

생성된 Python 코드는 구조적 오류를 줄이고, 이를 다시 그래프로 변환하여 결과를 평가한다.

이 방법은 복잡한 상식 추론 문제를 효율적으로 해결하며, AI 에이전트 설계 및 설명 가능한 AI(XAI)에 유용하다.

 

 

 

 

논문 요약: "Language Models of Code are Few-Shot Commonsense Learners"

1. 해결하려는 문제

• 문제 정의: 자연어 입력을 기반으로 구조화된 상식(reasoning) 그래프를 생성하는 작업은 복잡하고, 기존 자연어 모델(NL-LMs)이 처리하기 어렵다. 기존 방법은 그래프를 단순 문자열로 변환하지만, 이는 모델의 사전 학습 데이터와 크게 달라 모델 성능을 저하시킨다.
• 목표: 자연어에서 구조화된 데이터를 더 효과적으로 생성하는 방법을 제시하고자 함.

2. 사용된 방법

• 핵심 아이디어: 코드 생성 언어 모델(Code-LLMs, 예: CODEX)을 사용하여 자연어 입력을 기반으로 구조화된 상식(reasoning)을 더 잘 수행할 수 있도록 함.
• COCOGEN 제안:
  1. 출력 그래프를 Python 코드로 변환(Python 클래스 또는 함수).
  2. 변환된 코드를 Code-LLMs로 처리하여 그래프를 생성.
  3. 생성된 Python 코드를 원래 그래프로 역변환.
• Few-shot 학습: 수십 개의 예제만으로 학습을 수행하도록 설계. 각 예제는 Python 코드 형태로 제시되어 LLM이 더 쉽게 학습 가능.
• 실험 데이터셋:
  • PROSCRIPT: 고수준 목표에서 단계별 작업 그래프 생성.
  • PROPARA: 엔티티 상태 추적.
  • EXPLAGRAPHS: 신념과 주장을 연결하는 설명 그래프 생성.

3. 결과

• COCOGEN은 세 가지 작업 모두에서 기존 자연어 기반 모델(NL-LLMs) 및 일부 미세 조정된 모델을 능가함.
• PROSCRIPT:
  • 그래프 생성에서 BLEU, ROUGE-L 등의 점수로 COCOGEN이 GPT-3 및 fine-tuned T5 모델을 압도.
  • 엣지 예측에서 COCOGEN은 15개 샘플만 사용해도 T5(100개 샘플)보다 높은 F1 점수를 기록.
• PROPARA:
  • COCOGEN이 F1 점수 63.0으로 경쟁 모델 대비 우세.
• EXPLAGRAPHS:
  • COCOGEN은 30개 샘플로도 fine-tuned T5 모델(1500개 샘플)보다 높은 성능을 기록.
• 구조적 정확성(예: 그래프 연결성, 의미적 정확성)에서 COCOGEN이 모든 기준에서 앞섬.

4. 한계

• 제한된 데이터 사용: 실험은 영어 데이터셋에 한정.
• 모델 접근성: 사용된 CODEX 등 일부 모델은 공개되지 않았거나 사용 제한이 있을 수 있음.
• 데이터 다양성 부족: 몇몇 데이터셋에서 예제가 유사하여 few-shot 학습의 정보 다양성을 제한.

---

타당성 및 아쉬운 점

타당성

• 방법론적 타당성: Python 코드를 활용한 접근 방식은 Code-LLMs의 사전 학습 데이터와의 유사성을 높여 구조적 상식(reasoning) 생성에 적합하다.
• 실험적 타당성: 다양한 데이터셋에서 성능 비교를 통해 COCOGEN의 효용성이 검증됨.

아쉬운 점

1. 언어 다양성 부족: 다국어 데이터셋에 대한 검증이 부족, 이는 AI 에이전트 개발 시 다국어 확장 가능성을 제한할 수 있음.
2. 모델 제한성: Code-LLMs에 의존하기 때문에 모델 접근성 문제가 연구 확장에 걸림돌이 될 수 있음.
3. Fine-tuning 부재: Fine-tuning을 활용하지 않고 few-shot 설정만 실험, 이로 인해 실제 활용 가능성이 제한될 수 있음.

---

연구 방향 제안

1. 다국어 확장:
   • COCOGEN 방식의 코드를 다국어 구조적 상식 생성으로 확장. 다국어 AI 에이전트 개발에 적합.
2. 코드와 자연어 통합:
   • LLM과 Code-LLM의 협력적 구조로 다양한 입력 유형에 적응 가능하도록 설계.
3. 동적 프롬프트 최적화:
   • KST(Knowledge Similarity Tuning)와 같은 기법을 적용해 적응형 프롬프트 생성.
4. Fine-tuning 활용:
   • Few-shot 학습과 Fine-tuning을 결합해 다양한 사용 사례에서 효율성을 극대화.

이 논문의 접근법은 AI 에이전트 연구에서 강력한 상식 추론 기반을 구축하는 데 중요한 지침을 제공할 수 있습니다.

 

reasoning 그래프에 대해 좀 더 자세하게 설명해주라

Reasoning 그래프란 무엇인가?

Reasoning 그래프는 자연어로 표현된 고차원적 질문이나 설명을 명확하고 구조적으로 표현하기 위해 노드(Node)와 엣지(Edge)로 구성된 그래프입니다. 이는 단순한 질의응답이나 문맥 추론을 넘어, 복잡한 인과 관계나 논리적 흐름을 시각화하고 모델링하는 데 사용됩니다.

---

Reasoning 그래프의 특징

1. 노드(Node):
   • 개념: 특정한 개념, 사건, 상태 또는 객체를 나타냄.
   • 예: "Make tea"라는 목표에서는 "Boil water", "Add tea leaves" 등이 노드가 됨.
2. 엣지(Edge):
   • 관계: 노드 간의 관계를 나타냄.
   • 방향성을 가질 수 있으며, 의존성, 인과 관계, 시간적 순서 등을 나타냄.
   • 예: "Boil water" → "Pour water into teapot".
3. 구조적 표현:
   • 논리적 흐름을 구조적으로 표현하여, 상위 개념(Goal)을 하위 작업(Task)으로 세분화하거나 논리적 관계를 파악할 수 있음.

---

Reasoning 그래프의 주요 활용

1. 상식 추론:
   • 상식적인 판단(Commonsense Reasoning)을 명확히 표현.
   • 예: "물을 끓인 후 차를 만든다"는 직관적 과정을 그래프로 명시.
2. 복잡한 질문 분석:
   • 논리적 질문("왜?", "어떻게?")을 단계별로 분해.
   • 예: "왜 특정 과정이 결과에 영향을 미쳤는가?"
3. 인과 관계 모델링:
   • 특정 행동이 결과에 미치는 영향을 명확히 연결.
   • 예: "A가 발생하면 B가 발생한다"라는 인과성을 그래프로 나타냄.
4. 설명 가능성(Explainability):
   • AI 모델의 추론 과정을 시각적으로 설명.
   • 예: "모델이 X를 예측한 이유"를 그래프를 통해 설명 가능.

---

논문에서 사용된 Reasoning 그래프의 구현

1. PROSCRIPT (Script Generation):
   • 목표(Task)를 설정하고 이를 달성하기 위한 단계적 행동을 그래프로 표현.
   • 예: "Bake a cake" → [Mix ingredients] → [Preheat oven] → [Bake].
   • 노드: 행동(action).
   • 엣지: 행동 간의 의존성(dependency).
2. EXPLAGRAPHS:
   • 주어진 신념(Belief)과 주장(Argument) 간의 논리를 설명하는 그래프.
   • 예:
     • Belief: "Factory farming should not be banned."
     • Argument: "Factory farming feeds millions."
     • Reasoning 그래프:
        

       Node1: "Factory farming"
       Node2: "Millions"
       Edge: "causes"
3. PROPARA (Entity State Tracking):
   • 특정 엔티티(Entity)의 상태 변화를 추적.
   • 예: 광합성 과정에서 물(Water)의 상태 추적:
      

     Node1: "Water in soil"
     Node2: "Water absorbed by roots"
     Edge: "absorption"

---

Reasoning 그래프 설계의 장점

1. 구조적 추론 강화:
   • 단순 텍스트 생성보다 더 논리적인 출력을 생성 가능.
   • 그래프 구조가 LLM이 인과 관계를 명확히 학습하도록 도움.
2. 코드로 표현:
   • Python 클래스/함수로 그래프를 표현하여, Code-LLMs(CODEX)와 같은 모델이 처리하기 적합.
3. 유연성:
   • 다양한 형태(인과 그래프, 추론 트리, 상태 변화 그래프 등)로 변형 가능.

class ExplanationDAG:
    def __init__(self):
        self.nodes = ["Factory farming", "Millions"]
        self.edges = [("Factory farming", "causes", "Millions")]

---

Reasoning 그래프의 구현 단계

1. 입력 데이터 처리:
   • 자연어로 주어진 텍스트 입력을 분석하여 목표(T)와 구조(G)를 파악.
2. 구조 변환:
   • 자연어 데이터를 노드와 엣지로 변환하여 초기 그래프 생성.
3. Python 코드화:
   • 생성된 그래프를 Python 클래스/함수 형태로 변환.
4. Code-LLMs 활용:
   • Python 코드를 입력으로 사용해 더 정교한 그래프 생성.
5. 결과 변환:
   • 생성된 Python 코드를 다시 그래프로 변환.

---

Reasoning 그래프 활용 방안

AI 에이전트 연구에서는 Reasoning 그래프가 다음과 같이 활용될 수 있음:

• 다단계 계획: AI 에이전트가 복잡한 목표를 달성하기 위해 하위 작업을 자동으로 생성.
• 설명 가능성: 에이전트의 의사 결정 과정을 투명하게 표현.
• 협력적 작업: 여러 에이전트가 협력하여 특정 목표를 달성하도록 그래프를 기반으로 조율.

Reasoning 그래프는 AI 에이전트의 추론과 행동을 시각화하고, 이들의 논리적 일관성을 유지하는 데 매우 효과적인 도구입니다.

 

COCOGEN에 대해 좀 더 설명해줘

COCOGEN: Code for Commonsense Generation

COCOGEN은 코드 생성 언어 모델(Code-LLMs)을 활용하여 자연어(Natural Language) 기반의 구조적 상식(reasoning) 생성 문제를 해결하는 방법론입니다. 기존의 자연어 기반 언어 모델(NL-LLMs)이 구조적 상식 생성에서 직면했던 한계를 극복하고자 제안되었습니다.

---

COCOGEN의 주요 아이디어

1. 코드와 구조적 유사성 활용:
   • 코드 생성 모델(Code-LLMs)은 복잡한 논리적 구조를 표현하는 데 특화되어 있음.
   • 자연어로 표현된 구조적 데이터(예: 그래프)를 Python 코드로 변환하면, Code-LLMs의 학습 데이터와 유사한 형식으로 변환되어 성능이 향상.
2. Python 코드로 변환:
   • 그래프 데이터 또는 reasoning 구조를 Python 클래스/함수 형태로 변환하여 Code-LLMs에서 처리 가능하게 함.
   • Python 코드를 생성한 후, 이를 다시 그래프로 역변환하여 결과를 도출.
3. Few-shot 학습:
   • COCOGEN은 수십 개의 샘플만으로도 학습을 수행하는 Few-shot 설정을 사용하여, 대규모 미세 조정(fine-tuning) 없이도 강력한 성능을 발휘.

---

COCOGEN의 구성 요소 및 프로세스

1. 데이터 준비: 입력 데이터 변환

• 자연어 입력 (T):
  • 모델이 처리할 목표나 설명을 포함한 텍스트.
  • 예: "Make hot green tea."
• 구조적 출력 (G):
  • 생성해야 할 그래프 또는 구조적 데이터.
  • 예: 그래프의 노드와 엣지.
• Python 코드 변환:
  • 입력 텍스트(T)와 그래프(G)를 Python 코드(Python class)로 변환.
  • 예:

    class Tree:
        goal = "make hot green tea."
        def __init__(self):
            # nodes
            boil_water = Node()
            add_tea_leaves = Node()
            pour_hot_water = Node()
    
            # edges
            boil_water.children = [pour_hot_water]
            pour_hot_water.children = [add_tea_leaves]
    

---

2. 모델 학습: Few-shot 설정

• Few-shot 프롬프트 구성:
  • 5~30개의 샘플을 Python 코드 형태로 프롬프트에 포함.
  • 예제와 함께 테스트 입력을 포함하여 Code-LLMs에 입력.
• 프롬프트 예시:
  • 각 샘플은 Python 클래스로 표현되며, 입력과 출력의 구조를 포함:

    class Tree:
        goal = "make hot green tea."
        def __init__(self):
            # 노드 정의
            # 엣지 생성
    

• Code-LLMs (예: CODEX):
  • 모델은 Python 코드의 형식과 논리를 활용하여 테스트 입력에 대한 그래프를 생성.

---

3. 결과 변환: 그래프 복원

• 생성된 Python 코드를 원래 그래프 또는 구조적 데이터로 변환하여 최종 결과 도출.

---

COCOGEN의 주요 실험 결과

1. 데이터셋

• PROSCRIPT: 행동 그래프 생성.
• PROPARA: 엔티티 상태 추적.
• EXPLAGRAPHS: 신념-주장 연결 그래프 생성.

2. 성능 비교

• PROSCRIPT:
  • BLEU, ROUGE-L 등의 점수에서 COCOGEN이 GPT-3 및 fine-tuned T5를 능가.
  • Few-shot 설정(15 샘플)으로도 대규모 fine-tuning 모델보다 높은 성능.
• PROPARA:
  • 엔티티 상태 추적에서 F1 점수 63.0 기록 (경쟁 모델 대비 74% 향상).
• EXPLAGRAPHS:
  • 30개의 Few-shot 샘플만으로도 fine-tuned T5(1500개 샘플) 모델을 초과하는 성능.

3. 주요 통찰

• Code-LLMs는 구조적 데이터 생성 및 추론에서 기존 NL-LLMs보다 더 적합.
• Python 코드로 데이터 구조를 변환하는 것은 성능 개선에 중요한 요소.

---

COCOGEN의 장점

1. 높은 성능:
   • 기존의 NL-LLMs 또는 fine-tuned 모델보다 우수한 결과.
   • 특히 Few-shot 환경에서도 뛰어난 성능 발휘.
2. 범용성:
   • Python 코드 변환 방식을 통해 다양한 구조적 데이터 처리에 적용 가능.
3. 효율성:
   • 대규모 데이터 없이도 강력한 성능을 제공.
   • Code-LLMs의 사전 학습 데이터를 효과적으로 활용.

---

COCOGEN의 한계

1. 모델 의존성:
   • CODEX 등 일부 Code-LLMs는 공개되지 않았거나 접근 제한이 있음.
   • 이를 대체할 오픈소스 모델 개발이 필요.
2. 다국어 지원 부족:
   • 실험은 영어 데이터셋에 한정되었음. 다국어 데이터셋에서 확장이 필요.
3. 구조적 의존성:
   • Python 코드로 변환하는 방식에 의존하기 때문에 입력 데이터의 복잡성과 다양성이 증가하면 성능이 저하될 수 있음.

---

COCOGEN의 활용 가능성

1. AI 에이전트:
   • AI 에이전트가 복잡한 목표를 달성하기 위한 구조적 계획 생성에 활용.
   • 예: 다중 에이전트 협력을 위한 행동 그래프 생성.
2. 설명 가능 AI (XAI):
   • 모델의 추론 과정을 구조적으로 설명하여 투명성과 신뢰성을 강화.
3. 상식 추론 강화:
   • 상식적 사고를 필요로 하는 다양한 응용 분야(예: 의학, 교육)에서 적용 가능.

COCOGEN은 AI 시스템이 복잡한 문제를 효율적으로 해결할 수 있도록 구조적 상식을 강화하는 데 매우 유용한 도구입니다.

 

한번 더 자세하게 논문 정리해줘

논문: "Language Models of Code are Few-Shot Commonsense Learners" 상세 요약

---

1. 연구 배경 및 문제 정의

• 문제 정의: 자연어에서 구조적 상식을 추론하여 그래프 형태로 출력하는 것은 자연어 모델(Natural Language LMs, NL-LMs)에게 어려운 과제이다.
  • NL-LMs는 주로 자유로운 텍스트 데이터로 사전 학습되었으며, 그래프를 단순히 텍스트로 변환해 입력하는 기존 접근법은 학습 데이터와의 격차로 인해 성능이 제한적이다.
  • 기존 방법은 그래프를 문자열로 변환(flattening)하거나 특정 포맷(DOT 포맷 등)으로 직렬화하지만, 이는 모델이 그래프의 구조적 의미를 완전히 이해하지 못하게 한다.
• 목표:
  • 코드 생성 언어 모델(Code LLMs)을 활용해 이러한 문제를 해결하고, 구조적 상식을 더 정확히 생성할 수 있는 방법을 제안.

---

2. COCOGEN의 핵심 아이디어

코드 생성 언어 모델을 활용한 구조적 상식 생성:

• 코드 생성 모델(Code LLMs, 예: CODEX)은 복잡한 논리적 구조를 표현하는 코드 학습에 특화되어 있다.
• 자연어 기반의 구조적 데이터를 Python 코드로 변환하여, Code LLMs가 학습 데이터와 유사한 구조적 입력을 처리할 수 있도록 한다.

COCOGEN의 주요 과정:

1. 입력 변환:
   • 자연어 텍스트 입력(T)와 목표 그래프(G)를 Python 코드(Gc)로 변환.
2. 모델 학습:
   • Code LLMs를 활용해 Python 코드(Gc)를 생성.
3. 결과 복원:
   • 생성된 Python 코드를 원래의 그래프 형태(G)로 변환하여 평가.

---

3. 방법론: COCOGEN의 구조와 동작

(1) 입력 변환: Python 코드로 변환

• 자연어 입력(T)와 그래프 출력(G)을 Python 코드로 표현.
• Python 클래스나 함수로 그래프를 정의:
  • 노드는 객체로 생성.
  • 엣지는 객체 간의 관계(children 속성)로 표현.

예시: PROSCRIPT 작업 (스크립트 생성):

class Tree:
    goal = "make hot green tea."
    def __init__(self):
        # 노드 정의
        boil_water = Node()
        add_tea_leaves = Node()
        pour_hot_water = Node()

        # 엣지 정의
        boil_water.children = [pour_hot_water]
        pour_hot_water.children = [add_tea_leaves]

---

(2) Few-shot 학습

• Few-shot 프롬프트 구성:
  • 수십 개의 샘플(5~30개)을 Python 코드 형태로 프롬프트에 포함.
  • 예제와 테스트 입력을 포함하여 Code LLM에 입력.
• 프롬프트 예시:
• class Tree: goal = "make hot green tea." def __init__(self): # generate
• Python 프롬프트: Code LLMs는 Python 코드의 형식과 논리를 활용해 새로운 입력에 대한 그래프를 생성.

---

(3) 그래프 생성 및 복원

• Code LLM이 생성한 Python 코드를 원래의 그래프 데이터로 역변환.
• 생성된 그래프는 노드와 엣지의 구조적 정확성, 의미적 정확성, 그래프 크기 등을 기준으로 평가.

---

4. 실험

(1) 데이터셋

1. PROSCRIPT:
   • 행동 그래프 생성 (e.g., "Bake a cake").
   • 그래프의 노드: 행동(action), 엣지: 행동 간의 의존성.
2. PROPARA:
   • 엔티티 상태 추적 (e.g., "물은 뿌리에서 잎으로 이동").
3. EXPLAGRAPHS:
   • 신념(Belief)과 주장(Argument)을 연결하는 설명 그래프 생성.

(2) 성능 비교

• PROSCRIPT:
  • COCOGEN은 BLEU, ROUGE-L 등에서 NL-LLMs(GPT-3) 및 fine-tuned T5를 능가.
  • Few-shot 설정(15 샘플)으로도 fine-tuned T5(100 샘플)보다 높은 성능.
• PROPARA:
  • 엔티티 상태 추적에서 F1 점수 63.0으로 경쟁 모델 대비 74% 향상.
• EXPLAGRAPHS:
  • COCOGEN(30 샘플)은 fine-tuned T5(1500 샘플)보다 높은 성능.

(3) 분석

• Python 코드 변환의 효과:
  • Python 코드 프롬프트가 Code LLM의 성능을 향상.
• Few-shot 설정의 강점:
  • 적은 샘플로도 대규모 fine-tuned 모델을 능가.

---

5. COCOGEN의 장점

1. 고성능:
   • 자연어 기반 모델(NL-LLMs)을 크게 능가.
   • Few-shot 학습에서도 뛰어난 성능.
2. 범용성:
   • 다양한 데이터셋에 적용 가능.
   • 코드로 변환하는 방식을 통해 다른 구조적 작업에도 적응 가능.
3. 효율성:
   • 대규모 fine-tuning 없이도 강력한 성능.

---

6. 한계

1. 모델 의존성:
   • 사용된 Code LLM(CODEX)은 공개되지 않거나 접근 제한이 있을 수 있음.
2. 언어 다양성 부족:
   • 영어 데이터셋에 한정된 실험.
   • 다국어 데이터셋에서의 확장 필요.
3. 구조적 의존성:
   • Python 코드로 변환하는 과정이 데이터의 복잡성에 따라 성능 저하를 유발할 수 있음.

---

7. 연구 기여

1. 코드 생성 모델의 새로운 활용:
   • Code LLM을 활용한 자연어 기반 구조적 상식 생성의 새로운 가능성을 열음.
2. 효율적인 데이터 변환:
   • Python 코드로의 변환은 Code LLM이 학습한 데이터와의 유사성을 극대화하여 모델 성능을 개선.
3. Few-shot 학습의 확장:
   • Few-shot 학습을 통해 구조적 작업에서 fine-tuning 의존도를 줄임.

---

8. 향후 연구 방향

1. 다국어 확장:
   • 다국어 데이터셋에 COCOGEN 방식을 적용해 글로벌 AI 모델 개발.
2. Fine-tuning 결합:
   • Few-shot 학습과 Fine-tuning의 조합으로 다양한 작업에서 성능 극대화.
3. 동적 프롬프트 최적화:
   • 입력 데이터에 따라 적응형 프롬프트를 생성하는 기술(Knowledge Similarity Tuning) 개발.

COCOGEN은 기존 NL-LLMs의 한계를 극복하고, AI 에이전트 설계 및 구조적 상식 생성의 새로운 가능성을 제시하는 혁신적인 방법론입니다.

 

그런데 구조화된 상식을 만들고 코드로 변환했다가 다시 역 변환하는게 왜 중요한거야?

구조화된 상식을 만들고 이를 코드로 변환했다가 다시 역변환하는 과정은 COCOGEN의 핵심 아이디어이자 중요한 이유는 다음과 같습니다.

---

1. Code-LLMs의 학습 특성 활용

문제:

• 기존의 자연어 기반 언어 모델(NL-LLMs)은 주로 자유로운 텍스트 데이터로 학습되었기 때문에 그래프와 같은 구조적 데이터 생성에는 적합하지 않음.
• 그래프를 단순히 문자열로 "직렬화(flattening)"하면 자연어 모델의 학습 데이터와 격차가 발생:
  • 예: 그래프의 노드와 엣지를 단순 텍스트로 변환하면, 모델은 그래프의 구조적 의미를 제대로 이해하지 못함.

해결:

• Code-LLMs (예: CODEX)는 프로그래밍 코드로 학습되어 구조적 데이터와 논리적 관계를 이해하고 생성하는 데 적합.
• 자연어 입력을 Python 코드로 변환하면, Code-LLMs가 학습한 데이터와 유사한 형식으로 작업할 수 있어 성능이 크게 향상됨.
  • 예: 그래프의 노드-엣지 관계는 Python의 객체 및 속성(children 등)으로 자연스럽게 매핑됨.

---

2. 구조적 표현의 정확성 및 효율성 강화

문제:

• 자연어 모델은 그래프의 구조적 정확성을 유지하기 어렵고, 엣지 추가/삭제, 순서 왜곡 등의 오류가 발생.
  • 예: 그래프의 노드들이 잘못 연결되거나 순서가 뒤바뀌는 경우.
• 자연어 모델의 출력은 그래프 변환 과정에서 다시 손으로 수정해야 할 때가 많음.

해결:

• Python 코드로 변환하면, 구조적 규칙이 강제됨.
  • 예: Python 클래스에서 노드와 엣지는 코드 문법에 의해 명시적으로 정의됨.
  • 이는 모델이 구조적 오류를 덜 발생시키게 함.
• 생성된 Python 코드는 거의 항상 구문적으로 올바르기 때문에, 이를 그래프로 복원하는 과정이 매우 간단.
  • 예: Python 클래스에서 정의된 노드와 엣지를 그래프 객체로 쉽게 변환 가능.

---

3. 자연어 입력과 구조적 출력 간의 격차 해소

문제:

• 자연어와 구조적 데이터는 표현 방식이 다름:
  • 자연어는 순차적이고 비구조적.
  • 구조적 데이터(예: 그래프)는 계층적이고 비순차적.

해결:

• Python 코드로 변환하면, 자연어 입력(T)과 구조적 출력(G)의 간극을 중간 단계(Python 코드)로 효과적으로 메움.
  • Python 코드는 구조적이고 계층적인 형태를 자연어처럼 표현 가능.
  • 예: 그래프 노드와 엣지를 Python 객체와 속성으로 표현.

---

4. Few-shot 학습의 효율 극대화

문제:

• Few-shot 학습에서는 제한된 데이터만 사용하므로, 입력 데이터가 모델의 사전 학습 데이터와 얼마나 유사한지가 중요.
• 자연어 기반 직렬화(flattening) 방식은 모델이 학습한 데이터와의 격차가 커 성능이 저하.

해결:

• Python 코드는 Code-LLMs의 사전 학습 데이터와 유사성이 높아, 적은 수의 샘플로도 높은 성능을 발휘.
  • 예: Python 코드에 익숙한 Code-LLMs는 새로운 구조적 데이터를 빠르게 학습 및 생성.

---

5. 타입 안정성과 시각적 직관성

• Python 코드는 변수와 함수로 명시적으로 구조화되므로, 타입 안정성과 에러 방지에 강점이 있음.
  • 예: "노드가 반드시 children 속성을 가져야 한다"는 Python 코드에서 자동으로 강제 가능.
• 코드 형태로 그래프를 표현하면 사람이 이해하거나 디버깅하기 쉬움.
  • 예: Python 코드가 그래프의 시각적 설계도처럼 작동.

---

사례: PROSCRIPT 작업에서의 중요성

문제 상황:

• "케이크를 굽는 법"과 같은 스크립트를 생성할 때:
  • "반죽을 섞기 → 오븐 예열 → 굽기" 순서가 중요.
• 자연어 모델은 이 순서를 왜곡하거나 누락하는 경우가 있음.

해결:

• Python 코드로 변환하면:

  class Tree:
      def __init__(self):
          mix_ingredients = Node()
          preheat_oven = Node()
          bake = Node()
  
          mix_ingredients.children = [preheat_oven]
          preheat_oven.children = [bake]
  

  • 명시적으로 순서를 정의하여 순서 오류를 방지.

---

6. COCOGEN에서의 실제 효과

1. 구조적 정확성:
   • 그래프 생성의 구조적 정확도(ISO, GED)와 의미적 정확도(BLEURT)가 모두 향상.
   • Code-LLMs는 Python 코드 형식을 통해 구조적 안정성을 보장.
2. Few-shot 성능 향상:
   • Python 코드를 사용한 COCOGEN은 15~30개 샘플만으로도 대규모 fine-tuning 모델을 능가.
3. 재현성과 확장성:
   • 생성된 Python 코드는 항상 구문적으로 올바르며, 이를 다시 그래프로 변환하는 과정도 자동화 가능.

---

결론: 왜 코드 변환과 역변환이 중요한가?

• 자연어와 구조적 데이터의 격차를 해소:
  • Python 코드는 자연어와 그래프를 연결하는 중간 표현.
• Code-LLMs의 학습 특성 활용:
  • 코드의 구조적 특성을 학습한 모델이 더 높은 성능을 발휘.
• 효율성과 정확성 강화:
  • 구조적 오류를 줄이고, 적은 데이터로도 강력한 모델 성능을 달성.

이 방식은 특히 AI 에이전트가 복잡한 상식 추론을 수행하거나 다단계 계획을 생성할 때 강력한 도구로 활용될 수 있습니다.