ConCISE: Confidence-guided Compression in Step-by-step Efficient Reasoning

https://aclanthology.org/2025.emnlp-main.405/

ConCISE: Confidence-guided Compression in Step-by-step Efficient Reasoning

 

2025 emnlp main 논문입니다. 

 

언어 모델이 추론 과정에서 답을 구한 상태에서도 계속 검산하거나, 올바른 중간 추론을 불필요하게 의심하며 생성하는 중복 reflection step을 제거하는 방법입니다. 

 

추론을 다시 반복하는 현상이 앞선 추론이 틀렸기 때문에 발생하는 것이 아니라 내부 확신이 부족해서 불필요한 재검토가 발생할 수 있다고 저자는 말한다.

Confidence Deficit - 올바른 추론을 수행했지만, 해당 추론을 신뢰하지 못하여 다시 검토하는 현상 

Termination Delay - 정답을 찾고 검증까지 했지만 추론을 종료하지 않고, 추가 reflection을 계속 생성하는 현상으로 confidence threshold가 지나치게 높아져 confidence가 높아져도 신뢰하지 못하는 상황 

 

Confidence Injection - reflection(wait, alternatively, check...)을 생성하려는 경우 confidence phrase(Therfore, The reasoning holds, All steps are valid....)를 삽입한 후 다시 추론 이어 진행하도록 변경 => 앞선 추론이 유효하니까 다시 진행하라

Early Stopping - Confidence injection 만으로는 정답 뒤에 계속 reflection 하는 것을 막을 수 없기에 So, I'm 뒤에 confident, sure, pretty confident, pretty sure와 같은 표현이 생성할 확률을 통해 일정 임계치를 넘으면 바로 정답을 출력하도록 Final Answer:을 붙여버림 - 정답이 맞고, confident가 임계치 이상인 경우 종료 

Question
  ↓
Reasoning step 생성
  ↓
Reflection 발생?
 ├─ Yes → Confidence phrase 삽입 후 재생성
 └─ No  → 그대로 유지
  ↓
Confidence 측정
  ↓
Confidence > threshold?
 ├─ Yes → Final Answer 생성 및 정답 검증
 │          ├─ 정답 → 종료
 │          └─ 오답 → reasoning 계속
 └─ No  → reasoning 계속

이러한 방식대로 답안을 생성하게하여 step를 줄임 

학습은 SFT와 SimPO를 통해 진행 됨 

여기서 외부 teacher model의 reasoning을 사용하지 않아 해당 target model이 직접 생성한 reasoning 의 불일치를 줄인다. 

좌측의 단어들은 reflection을 막지 못하고, 우측의 문장들은 reflection을 줄이게 된다.

우측 figure에선 정답 낸 뒤 모델의 confidence가 어떻게 변하는지 보여주며 처음에는 낮다가 점점 올라가는 모습을 보여준다. 3턴 이후에는 이미 끝까지 가서 이득이 크지 않다. - Termination Delay

CR = 원본 모델 대비 길이 비율 

길이는 대폭 줄이면서 정확도는 유지하거나, 소폭 감소하는 것을 보여줌 

Step 수와 정확도, 제거되는 Reflection step의 종류, 학습 데이터의 어떤 특성이 압축 행동을 만드는지 보여준다. 

 

 

논문 목표	Large Reasoning Model이 정답에 필요하지 않은 재검토와 반복 검증을 생성해 추론 길이와 비용이 증가하는 문제를 해결한다.	ConCISE는 모든 CoT를 짧게 만드는 범용 압축법이라기보다, 중복 reflection을 선택적으로 줄이는 reasoning compression 방법이다.
기존 방법의 한계	① 여러 응답 중 가장 짧은 정답을 선택하는 sampling-based selection은 불필요한 reflection을 충분히 제거하지 못한다. ② 생성 후 step을 삭제하는 post-hoc pruning은 필요한 추론까지 제거해 논리적 일관성과 정확도를 해칠 수 있다.	기존 방법은 대부분 추론이 끝난 뒤 결과를 선택하거나 삭제한다. ConCISE는 생성 과정에서 중복 reflection이 나오지 않도록 제어한 학습 데이터를 만든다는 점이 다르다.
핵심 관점	Reflection은 앞선 추론이 틀렸기 때문만이 아니라, 모델이 현재 추론을 얼마나 확신하는지와도 관련된다고 본다.	논문의 핵심 가정은 reflection 발생 ≈ confidence 부족이다. 다만 이 confidence는 hidden state에서 직접 측정한 값이 아니라 언어적·행동적 proxy에 가깝다.
중복 유형 1: Confidence Deficit	모델이 올바른 중간 추론을 수행했음에도 이를 충분히 신뢰하지 못해 “Wait”, “Alternatively”, “Let me check” 등의 재검토를 생성하는 현상이다.	정답 전 발생하는 불필요한 reflection의 원인이다. 이를 제거하지 않으면 답에 도달하기 전부터 reasoning chain이 길어진다.
중복 유형 2: Termination Delay	모델이 이미 정답을 구하고 검산까지 했지만 reasoning을 끝내지 않고 다른 방법의 검증과 반복 설명을 계속 생성하는 현상이다.	정답 후 overthinking에 해당한다. Confidence Injection만으로는 충분히 해결되지 않으므로 별도의 종료 메커니즘이 필요하다.
구성요소 1: Confidence Injection	다음 step이 reflection으로 감지되면 이전 context 뒤에 “Therefore”, “The reasoning holds”, “Let’s proceed” 등의 confidence phrase를 넣고 해당 step을 다시 생성한다.	이미 생성된 reflection을 삭제하는 것이 아니라, reflection이 시작되는 지점에서 생성 방향을 continuation으로 바꾼다.
Confidence phrase 구성	모델의 자연스러운 표현, 수작업 설계, 실험적 선별을 통해 20개의 phrase pool을 구축하고 매번 하나를 무작위로 사용한다.	특정 phrase에 과적합되는 것을 방지하려는 설계다. 가장 효과적인 phrase도 reflection을 완전히 제거하지는 않았으며, 약 20% 수준의 reflection은 남았다. 이는 필요한 검증까지 전부 제거하지는 않는다는 의미다.
Reflection 탐지	Confidence Injection에서는 wait, alternatively, verify, reconsider, check 등의 키워드를 사용하는 rule-based detector를 적용한다.	탐지기는 전체 reflection 구간이 아니라 reflection의 시작점만 찾는다. 구현은 가볍지만 모델·언어·표현 방식이 바뀌면 일반화가 약할 수 있다.
구성요소 2: Early Stopping	현재 reasoning context 뒤에 "So, I'm"이라는 probing prompt를 붙이고, confident, sure, pretty confident, pretty sure가 나올 확률을 합해 confidence score를 계산한다.	이는 calibration된 정답 확률이나 내부 uncertainty가 아니라, 모델이 자신감을 언어로 표현할 확률이다. 따라서 논문의 “internal confidence”라는 표현은 다소 강한 해석일 수 있다.
Early Stopping 조건	Confidence score가 임계값 t_e를 넘으면 Final Answer:를 생성하게 한다. 학습 데이터 구축 시에는 그 답이 ground truth와 일치하는 경우에만 reasoning을 종료한다.	단순히 모델이 자신 있다고 말한다고 종료하는 것이 아니다. confidence와 정답 검증을 동시에 사용해 premature stopping을 방지한다.
Threshold 설정	t_e ∈ {0.4,0.5,0.6,0.7}를 비교한 뒤 t_e=0.5를 선택했다. 0.5–0.7은 비교적 안정적이었지만, 0.4는 특히 AIME24에서 성능이 크게 하락했다.	threshold가 너무 낮으면 필요한 검산까지 제거한다. 즉, 더 짧은 reasoning이 항상 더 좋은 것은 아니다.
전체 데이터 구축 과정	질문별로 step을 생성하고, reflection이면 Confidence Injection으로 재생성한다. 매 step confidence를 측정하고 임계값을 넘으면 최종 답을 출력하게 하며, ground truth와 일치하면 종료한다. 최종 오답 chain은 폐기한다.	ConCISE의 주요 산출물은 압축 알고리즘 자체보다 정답성과 논리적 일관성을 유지한 concise reasoning training dataset이다.
학습 방식	ConCISE로 생성한 reasoning chain을 이용해 SFT와 SimPO를 수행한다. 각 target model이 자기 reasoning을 생성하고 이를 ConCISE로 정제한다.	외부 teacher reasoning을 그대로 사용하는 것이 아니라 모델별 reasoning style을 유지한다. SimPO에서는 짧고 올바른 reasoning을 chosen, 긴 올바른 reasoning을 rejected로 학습한다.
학습 데이터	MATH 학습 세트에서 약 2,000문제를 선택했으며, 각 모델이 greedy decoding으로 정답을 맞힌 문제를 사용했다. 비교 방법들이 공통으로 정답을 생성한 최종 subset은 약 1,900개이다.	비교적 적은 데이터로 효과를 보였다는 점은 장점이지만, 학습 데이터가 수학 문제에 집중되어 있다.
평가 모델	DeepSeek-R1-Distill-Qwen-7B·1.5B, Skywork-OR1-7B-Preview, Qwen3-8B를 평가했다.	서로 다른 크기와 계열의 네 reasoning model에서 검증해 특정 모델에만 국한된 결과는 아니다.
평가 벤치마크	Math-500, GSM8K, AIME24, GPQA-Diamond를 사용했다.	GPQA는 수학 학습 데이터와 다른 영역이므로 일부 out-of-domain 일반화를 보여주지만, agent·code·다국어·open-ended task까지 일반화했다고 보기는 어렵다.
평가 지표	최종 답 정확도, 평균 생성 토큰 수, 원본 대비 길이 비율인 Compression Ratio를 측정한다. CR이 낮을수록 출력이 짧다.	논문은 출력 token 감소를 중심으로 평가한다. 실제 FLOPs, latency, throughput, KV-cache, peak memory는 직접 측정하지 않았다.
주요 결과	SimPO에서 네 모델 모두 평균적으로 원본의 약 50–56% 길이로 압축되면서 정확도를 비교적 잘 유지했다. Qwen3-8B는 평균 CR 50%, DeepSeek-1.5B는 53%, DeepSeek-7B는 54%, Skywork-7B는 56%였다.	“약 50% 압축”은 토큰이 50% 감소했다는 의미와 거의 대응하지만, 정확도가 완전히 동일한 것은 아니다. 일부 어려운 task에서는 소폭 하락한다.
SFT와 SimPO 차이	ConCISE-SFT도 압축 효과가 있었지만 모델별 편차가 컸다. 특히 Qwen3-8B의 SFT 평균 CR은 92%로 압축이 약했고, SimPO에서는 50%까지 감소했다.	ConCISE 데이터만 SFT하는 것보다, 짧은 reasoning을 긴 reasoning보다 선호하도록 직접 학습하는 SimPO가 더 안정적이었다.
OverThink 대비	OverThink는 여러 응답 중 가장 짧은 정답을 선택해 정확도는 잘 유지했지만, 정답 전 reflection이 많이 남아 ConCISE보다 압축률이 낮았다.	“가장 짧은 정답 선택”만으로는 reflection 구조를 정밀하게 통제할 수 없다.
Spirit 대비	Spirit은 PPL 영향이 작은 step을 사후 삭제한다. 일부 설정에서 강한 압축을 달성했지만 AIME24 같은 어려운 문제에서 성능 하락이 컸다.	중요도가 낮아 보이는 step을 삭제하는 방식은 필요한 non-reflection reasoning까지 제거할 위험이 있다.
왜 성능이 유지되는가	ConCISE는 각 step의 길이를 크게 줄이는 대신, reasoning step의 수와 reflection step의 수를 줄인다. Non-reflection step 수는 상대적으로 보존한다.	논문의 가장 중요한 분석 결과는 reflection step 제거는 압축에 유리하고, non-reflection step 제거는 성능 저하로 이어질 수 있다는 것이다.
학습 데이터 분석	ConCISE와 OverThink 데이터는 전체 토큰 수, step 수, 평균 step 길이가 유사했지만, ConCISE로 학습한 모델이 더 강한 압축을 보였다.	표면적인 데이터 길이보다 정답 전·후 reflection이 어떻게 구성되어 있는지가 더 중요한 supervision signal임을 보여준다.
Ablation 결과	Confidence Injection만 사용하거나 Early Stopping만 사용해도 정확도는 유지됐지만, 전체 ConCISE보다 압축률이 낮았다. 예를 들어 Math-500 CR은 전체 58%, Injection 단독 68%, Early Stopping 단독 69%였다.	두 구성요소는 대체 관계가 아니라 보완 관계다. Injection은 정답 전 reflection, Early Stopping은 정답 후 reflection을 주로 처리한다.
Training-free 비교	TALE, DEER와 비교했을 때 training-free 방법은 일부 압축을 달성했지만 정확도 하락 또는 모델·데이터별 불안정성이 컸다. ConCISE-Decoding은 기존 training-free 방법보다 대체로 나았고, ConCISE-SimPO가 가장 안정적이었다.	inference intervention만으로도 가능하지만, ConCISE 데이터로 모델 자체를 학습하는 방식이 compression–accuracy trade-off에서 더 우수했다.
주요 기여 1	LRM의 중복 reflection을 Confidence Deficit과 Termination Delay라는 두 패턴으로 구분했다.	단순히 “CoT가 길다”는 현상을 넘어, 정답 전과 정답 후의 중복 원인을 분리해 설명한 개념적 기여다.
주요 기여 2	Confidence Injection과 Early Stopping을 결합해 생성 과정에서 중복 reflection을 억제하는 데이터 구축 프레임워크를 제안했다.	post-hoc 삭제보다 reasoning coherence를 보존하기 쉬운 능동적 생성 제어 방식이다.
주요 기여 3	ConCISE 데이터로 SFT·SimPO한 모델이 여러 LRM과 벤치마크에서 약 절반 수준의 출력 길이와 비교적 높은 정확도를 달성했다.	데이터의 reflection 구조가 모델의 추론 행동으로 학습될 수 있음을 실험적으로 보여준다.
한계 1: Confidence의 타당성	정답 전 confidence는 reflection keyword로 간접 추정하고, 정답 후 confidence는 특정 verbal expression의 확률로 계산한다.	실제 내부 confidence나 calibrated uncertainty를 직접 측정한 것은 아니다. phrase injection이 confidence를 높인 것인지 단순히 token trajectory를 바꾼 것인지 분리 검증이 부족하다.
한계 2: 규칙 기반 탐지	영어 reflection keyword에 의존한다.	명시적 키워드 없는 reflection, 모델별 표현 차이, 다국어 reasoning에서는 탐지 성능이 떨어질 수 있다.
한계 3: Ground truth 의존	학습 데이터 구축 시 early stopping 후 생성한 답을 ground truth와 비교한다.	정답이 없는 실제 질의에서는 동일한 검증을 사용할 수 없다. 실제 배포에서는 verifier, reward model, self-consistency 등의 보완이 필요하다.
한계 4: 데이터 구축 비용	Reflection 발생 시 재생성하고, 매 step probing을 수행하며, 이후 fine-tuning까지 필요하다.	최종 inference token은 줄지만 데이터 생성과 학습에 추가 비용이 든다. 총 GPU 비용과 break-even point는 보고되지 않았다.
한계 5: 실제 시스템 효율 미측정	논문은 token count와 compression ratio를 중심으로 보고한다.	출력 token 감소가 일반적으로 latency와 KV-cache 감소로 이어질 가능성은 있지만, 이 논문만으로 FLOPs·wall-clock·메모리 절감량을 확정할 수 없다.
한계 6: 압축 범위	주로 reflection step 수를 줄이며, non-reflection step과 step 내부 길이는 충분히 압축하지 못한다.	ConCISE는 전체 reasoning을 구조적으로 재작성하는 방법보다 중복 자기검증 제거에 특화된 1차 압축법으로 보는 것이 정확하다.
최종 의의	짧은 reasoning을 만들기 위해 무조건 문장을 삭제하거나 token budget을 강제하기보다, 정답에 기여하지 않는 reflection behavior를 학습 데이터에서 제거해야 한다고 주장한다.	이 논문의 핵심 메시지는 reasoning compression의 본질이 길이 자체가 아니라, 핵심 추론과 중복 reflection을 구분하는 것이라는 점이다.