https://aclanthology.org/2026.findings-acl.1961/
CRISP: Compressing Redundancy in Chain-of-Thought via Intrinsic Saliency Pruning
Yangsong Lan, Hongliang Dai, Piji Li. Findings of the Association for Computational Linguistics: ACL 2026. 2026.
aclanthology.org
2026 acl findings 논문입니다.
</think> 토큰의 attention으로 중요한 추론과 불필요한 추론을 구분함 => 필요한 단계만 진행하도록 학습하여 추론시 짧은 CoT생성하도록 만듬.
외부 Compressor 없이 학습으로 압축을 진행하려고 했던 방법이네요
답을 생성할 때 이전 reasoning token들 보다 reasoning 정보를 집약한 </think> token representation을 강하게 참조하는 모습을 보임
높은 attention을 제거하면 정답 perplexity가 급격하게 증가하고, 낮은 attention을 제거했을 때 perplexity가 천천히 증가한 것에 따라 </think> 토큰이 중요한 정보를 가지고 있음을 보이고, 낮은 attention은 중복 정보일 가능성이 높다고 말한다.
원래 CoT 생성하기 => Attention을 통해 </think> 토큰이 생각하는 각 reasoning 단계들의 중요도를 종합 => KEEP, PRUNE, REWRITE, FUSE 와 같은 옵션을 통해 단순 삭제만 하는 것이 아닌 재작성, 합치기 등도 진행한다. 이 부분은 코사인 유사도를 통해 heuristic gating으로 진행. Reward를 통해 최종 연산 선택도 진행함. => Deepseek v3를 통해 문장 재구성 진행함 => 학습 => 평가
기준에 따른 Action 고르기 입니다!
토큰수가 감소하며 정확도를 유지하거나, 조금 떨어지는 모습을 보임.
| 방법 | 기본 원리 | 주요 문제 |
| Truncation | 일정 길이에서 강제 종료 | 핵심 추론이 잘릴 수 있음 |
| CoD | 짧게 생각하라고 prompting | 모델이 길이 제약을 지키지 않거나 정확도 하락 |
| TALE | token budget을 prompt로 지정 | 세밀한 압축 제어가 어려움 |
| TokenSkip | LLMLingua2로 CoT token 압축 후 학습 | target model의 내부 중요도와 불일치 가능 |
| A*-Thought | 외부 scorer 기반 중요 token 탐색 | 논리적 연결과 모델 내재적 판단이 다를 수 있음 |
| CRISP | </think> attention으로 중요 step 탐색 후 재구성 | 데이터 구축 비용과 refiner 의존성 |
| 논문 목표 | Reasoning LLM이 생성하는 장황한 Chain-of-Thought에서 중복 추론을 제거해 정확도를 유지하면서 생성 토큰과 추론 비용을 줄이는 것 | 단순한 입력 프롬프트 압축이 아니라, 모델이 생성하는 추론 과정 자체를 짧게 학습시키는 방법 |
| 기존 방법의 문제 | 기존 CoT 압축은 외부 compressor나 별도 scorer가 중요 단계를 판단하므로, target model이 실제로 중요하게 사용하는 자기수정·중간 계산을 잘못 삭제할 수 있음 | 외부 모델의 중요도 판단과 target reasoning model의 내부 추론 구조 사이에 saliency misalignment가 발생 |
| 핵심 발견 | Reasoning 종료 토큰인 </think>가 이전 추론 정보를 집약하는 information anchor로 작동함 | 깊은 layer에서 최종 답변을 생성할 때 모델은 개별 CoT 토큰보다 </think> representation에 집중 |
| 중요도 측정 방법 | </think> 토큰에서 각 reasoning step의 토큰으로 향하는 attention을 layer와 head 전체에 걸쳐 집계하여 step saliency (S_i)를 계산 | 높은 (S_i)는 최종 답변에 중요한 단계, 낮은 (S_i)는 제거하거나 축약할 수 있는 중복 단계로 해석 |
| 핵심 가설 검증 | 높은-attention 단계를 제거하면 최종 답변 perplexity가 급격히 증가하고, 낮은-attention 단계를 제거하면 증가 폭이 작음 | </think> attention이 단순한 시각적 패턴이 아니라 실제 정답 생성 기여도를 반영하는 신호임을 보임 |
| 전체 파이프라인 | ① 원본 장문 CoT 생성 → ② intrinsic attention으로 중요 단계 계산 → ③ 구조화된 압축 탐색 → ④ LLM refinement → ⑤ 압축 CoT로 target model fine-tuning | 실제 서비스 추론 시마다 search를 수행하는 것이 아니라, offline에서 압축 데이터를 만들고 모델이 짧은 추론 방식을 학습 |
| 4가지 압축 연산 | KEEP: 유지, PRUNE: 삭제, REWRITE: 짧게 재작성, FUSE: 유사한 연속 단계를 통합 | 단순 삭제 중심이 아니라 여러 단계를 더 적은 수의 정보 밀도 높은 reasoning unit으로 재구성 |
| 연산 후보 결정 | 이전 압축 단계와 의미가 유사하면 FUSE, 낮은 saliency는 PRUNE/REWRITE, 중간은 REWRITE, 높은 saliency는 KEEP/REWRITE | SimCSE 유사도와 intrinsic saliency를 이용해 불필요한 탐색 공간을 먼저 제한 |
| 연산 선택 기준 | 정답 likelihood 증가량에서 생성 토큰 길이 penalty를 뺀 reward를 최대화하는 연산을 greedy하게 선택 | 정답에 대한 기여도-토큰 비용을 직접 최적화하여 정확도와 압축률을 함께 고려 |
| Refinement 단계 | Search 결과의 단절된 문장과 논리적 공백을 DeepSeek-V3가 원본 CoT를 참고해 자연스럽고 정확하게 복원 | Search만 사용하면 MATH-500 정확도가 1.5B에서 57.6%, 7B에서 70.6%이지만, refinement 후 각각 75.0%, 84.2%로 크게 회복 |
| 학습 방식 | <|compressed|> control token을 붙인 입력에는 압축 CoT를, 일반 입력에는 원본 CoT를 학습하는 multi-task fine-tuning | 압축 모드와 일반 reasoning 모드를 하나의 모델에 학습하면서 catastrophic forgetting을 완화 |
| 모델 및 데이터 | DeepSeek-R1-Distill-Qwen-1.5B/7B, MATH에서 난이도별 500개씩 총 2,500개로 모델별 압축 데이터 생성 | 동일한 압축 정답을 공유하지 않고 각 모델의 attention을 이용해 model-specific supervision을 구축 |
| 평가 데이터 | GSM8K, MATH-500, AMC23 | 초등 수학부터 경시 수준까지 난이도가 다른 수학 reasoning에서 평가 |
| 7B 주요 결과 | 평균 정확도 83.6% → 83.9%, 평균 토큰 2,971 → 1,235, Token Efficiency 2.81 → 6.80 | 토큰을 약 58% 감소시키면서 평균 정확도는 유지 또는 소폭 향상 |
| 1.5B 주요 결과 | 평균 정확도 73.3% → 71.9%, 평균 토큰 3,483 → 1,669, Token Efficiency 2.10 → 4.31 | 토큰을 약 52% 감소했으며, 작은 모델에서는 정확도가 1.4%p 감소하지만 효율은 약 2배 향상 |
| 추론 구조 변화 | reasoning step 수가 평균 62.4% 감소하고, step당 길이는 22.5% 증가함 | 많은 짧고 반복적인 단계를 소수의 길지만 고밀도인 단계로 통합하는 step-wise consolidation |
| Overthinking 완화 | MATH-500의 7B 정답 사례에서 평균 reasoning step이 69개 → 15개로 감소 | 동일한 수준의 정확도에 도달하는 데 약 36개 적은 step이 필요해 불필요한 반복 추론을 효과적으로 제거 |
| 방법의 핵심 차별점 | 외부 evaluator가 아니라 target model 자신의 </think> attention을 사용해 중요한 논리를 선택 | 모델이 실제로 의존하는 reasoning structure에 맞춘 intrinsic saliency-guided CoT distillation |
| 중요한 주의점 | 중요도 평가는 intrinsic하지만, REWRITE·FUSE와 최종 refinement에는 외부 LLM이 사용됨 | 완전히 external-model-free한 방법이 아니라, saliency estimation만 intrinsic한 프레임워크 |
| 한계 | 수학 문제 중심 평가, 반복 search로 인한 높은 offline 데이터 구축 비용, 정답 likelihood나 verifier가 필요함 | Open-ended reasoning, agent planning, 코드·법률·의료 영역으로의 일반화는 추가 검증이 필요 |
| 최종 결론 | CRISP는 </think> attention으로 핵심 추론 경로를 찾고, 이를 압축·복원한 데이터로 모델을 재학습시켜 짧은 CoT를 직접 생성하게 함 | 추론 중 토큰을 잘라내는 기법이라기보다, 모델 내부 중요도에 기반한 CoT 압축 데이터 생성 및 reasoning behavior 학습 방법 |