Do LLMs Encode Functional Importance of Reasoning Tokens ?

https://aclanthology.org/2026.acl-long.1419/

Do LLMs Encode Functional Importance of Reasoning Tokens ?

 

acl 2026 main 입니다! 

샌디에고에서 이걸 못 봤네요 ㄷㄷ

 

llm의 긴 추론 과정에서 어떤 토큰이 최종 답변 생성에 실제로 중요한지를 모델 자신의 likelihood 변화로 측정하는 greedy pruning을 제안하며 llm 내부에 추론 토큰의 기능적 중요도를 구분하는 구조가 존재한다는 실험적 근거를 제시합니다. 

일단 이 논문도 CoT의 긴 추론이 리소스, 정답에 필요한 부분 구분 어려움, 기존 압축 방법이 모델 외부 기준에 의존한 점을 문제라고 말한다.

추론 과정에서 토큰 하나를 제거한 뒤 원래 추론과 정답에 얼마나 높은 확률을 부여하는지 확인하여 likelihood가 변하지 않는다면 덜 중요하고, 크게 감소한다면 중요한 토큰으로 보고, Greedy Pruning을 통해 likelihood를 가장 잘 보존하는 토큰 하나를 삭제한다. 

근데 이거 리소스가 생각보다 좀 많이 들 것 같네요 .... 

Joint Objective는 추론 과정의 likelihood도 보면서 추론 과정의 악영향도 줄입니다. 

 

Teacher을 통해 reasoning chain을 생성하고, pruning 진행

Student는 이를 데이터로 사용해 학습함

 

TokenSkip: GPT-4 계열 supervision을 통해 학습된 semantic importance 사용

H2O: 미래 토큰으로부터 누적해서 받은 attention이 낮은 토큰 제거

Surprisal: 예측하기 쉬운, 즉 surprisal이 낮은 토큰부터 제거

Uniform: 무작위로 토큰 제거

 

가장 높은 성능을 보여준다.!

30%의 압축 상태에서도 수학적 상태는 대부분 보존하며, 성능을 유지함. 

 

pruner 성능이 나빠지면 sft도 급격하게 약해짐 

 

핵심 연구 질문	LLM은 긴 reasoning chain 안에서 최종 답변 생성에 중요한 토큰과 제거 가능한 토큰을 내부적으로 구분하는가? 기존 연구가 sampling, heuristic, frontier-model supervision으로 짧은 추론을 생성했다면, 본 논문은 모델 자신의 likelihood와 attention에 토큰 수준의 기능적 중요도 신호가 존재하는지를 진단한다.
문제의식	긴 Chain-of-Thought는 정확도를 높일 수 있지만, 출력 토큰 수·추론 지연·메모리·학습 비용을 증가시킨다. 또한 어떤 토큰이 실제 답변 생성에 기여하고, 어떤 토큰이 단순한 언어적 scaffolding인지 구분하기 어렵다.
핵심 제안: Greedy Pruning	완성된 reasoning chain에서 각 토큰을 하나씩 가상으로 삭제한 뒤, 삭제 후 모델 likelihood가 가장 높게 유지되는 토큰을 실제로 제거한다. 이 과정을 목표 keep fraction까지 반복해 길이가 통제된 압축 추론과 전체 pruning rank를 생성한다. 먼저 삭제된 토큰은 상대적으로 제거 가능하고, 마지막까지 남는 토큰은 기능적으로 중요하다고 해석한다.
Greedy Pruning의 특징	일반적인 greedy decoding이 likelihood를 높이는 토큰을 순차적으로 추가한다면, Greedy Pruning은 likelihood를 가장 적게 손상시키는 토큰을 순차적으로 삭제한다. 토큰을 제거할 때마다 남은 문맥에서 중요도를 다시 계산하므로, 고정된 중요도 점수를 사용하는 방법과 달리 토큰 간 상호작용을 반영한다.
ANS Objective	L^(ANS)=logP(A∣Q,R_K). 압축된 reasoning을 조건으로 정답의 likelihood만 보존한다. 정답 확률이 유지된다면 중간 추론 구조가 크게 훼손되어도 허용되므로 비교적 공격적인 pruning이 가능하다.
JOINT Objective	L^(JOINT)=logP(R_K,A∣Q). 압축된 reasoning과 answer 전체의 likelihood를 보존한다. 정답뿐 아니라 모델이 선호하는 reasoning trajectory와 구조까지 고려하며, 논문의 기본 설정이다. 실험상 ANS보다 명확한 기능적 구조와 높은 distillation 성능을 보였다.
전체 프레임워크	Teacher–Pruner–Student 구조를 사용한다. Teacher가 정답 reasoning을 생성하고, Pruner가 Greedy Pruning으로 이를 압축하며, Student는 압축된 reasoning을 SFT supervision으로 학습한다. 기본적으로 Teacher와 Pruner는 동일한 강한 모델을 사용한다.
Teacher / Pruner 모델	Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct. 문제당 temperature 0.7로 최대 10개 응답을 생성한 뒤 정답을 맞힌 추론만 남기는 rejection sampling을 적용한다.
Student 모델	Llama-2-7B-Chat과 Mistral-7B-Instruct. 압축된 reasoning chain으로 SFT한 뒤 downstream accuracy와 생성 reasoning 길이를 평가한다.
평가 데이터셋	GSM8K: 초등 산술 문장제, MATH/MATH-500: 올림피아드 수준 수학, MMLU-Pro: 다양한 도메인의 고난도 객관식 추론.
비교 Baseline	TokenSkip: frontier model supervision으로 학습한 semantic importance 기반 pruning, H2O: 미래 토큰으로부터 받은 누적 attention 기반, Surprisal: 예측하기 쉬운 low-surprisal token부터 제거, Uniform: 무작위 제거. 모든 방법은 같은 teacher reasoning과 동일한 최종 토큰 수를 사용한다.
주요 성능 결과	GSM8K, MMLU-Pro, MATH에서 Greedy Pruning으로 압축한 reasoning을 학습한 Student가 동일 keep fraction 기준 모든 pruning baseline보다 일관되게 높은 정확도를 기록했다. 특히 GPT-4 계열 supervision을 사용하는 TokenSkip보다도 높은 성능을 보여, 모델 자신의 likelihood가 외부 semantic label보다 기능적으로 중요한 토큰을 더 잘 식별할 수 있음을 시사한다.
압축률과 Student 출력 길이	GSM8K에서 full reasoning으로 학습한 Student는 평균 189 tokens를 생성했다. Keep fraction 0.9, 0.8, 0.7로 학습하면 각각 161, 148, 134 tokens를 생성했다. 즉, 30% pruning된 supervision은 inference 시에도 약 30% 짧은 reasoning을 유도했다.
Pruned trace의 품질	Keep fraction 0.7, 즉 약 30% 토큰 제거 시 수학적 상태 완전 보존 94.5%, 구조 붕괴 0.4%, severe semantic corruption 0%, SFT에 완전히 사용 불가능한 사례 0%였다. 손상은 주로 조사·전치사·문장 부호 누락이나 reasoning step 병합 같은 표면적 문제였다.
기능적 토큰 분석 범주	GSM8K reasoning token을 SYMBMATH—숫자·수식·연산자, VERBALMATH—total·half·remaining 등 자연어 수학 관계, ENTNAME—사람·물체·단위, METADISC—first·calculate·final answer 등 추론 서술, COREF—it·she·this 등 지시 표현, GRAMMAR—관사·전치사·접속사·문장 부호의 6개 범주로 분류했다.
어떤 토큰이 보존되는가?	Greedy Pruning은 SYMBMATH 토큰을 가장 강하게 보존했다. 숫자, 수식, 연산자, 중간 계산값은 공격적인 압축에서도 높은 비율로 남았다. 반면 COREF 토큰은 가장 일찍 제거되었으며, VERBALMATH와 문법·서술적 scaffolding도 symbolic computation보다 먼저 제거되었다.
기능적 구조의 의미	모델은 reasoning에서 핵심 계산 내용과 이를 자연스럽게 표현하기 위한 언어적 포장을 일정 수준 구분한다. 단순한 토큰 빈도나 예측 난이도가 아니라, 정답 생성에 필요한 symbolic computation을 선택적으로 보존하는 구조가 나타났다.
ANS와 JOINT의 차이	ANS objective에서도 SYMBMATH 보존과 COREF 조기 제거라는 큰 경향은 유지되었지만, 기능 범주 간 구분이 약해지고 여러 retention curve가 uniform pruning에 가까워졌다. 이에 따라 Student 성능도 낮아졌다. 즉, 정답 likelihood뿐 아니라 reasoning likelihood까지 보존해야 더 유용한 압축 구조가 형성된다.
Pruner 성능의 영향	강한 Qwen2.5-7B 대신 약한 Llama2-7B를 Pruner로 사용하면 Student 성능이 크게 하락했다. 약한 Pruner도 수식 보존은 수행했지만, entity·grammar·verbal math 간 균형을 적절히 유지하지 못했다. 따라서 좋은 pruning은 숫자와 수식만 남기는 것이 아니라, 이를 연결하는 최소한의 비상징적 구조도 보존해야 한다.
토큰 중요도의 동적 특성	초기 full reasoning에서 계산한 ranking을 고정해서 사용하는 Frozen ranking보다, 각 pruning 단계에서 중요도를 다시 계산하는 Dynamic ranking이 실제 다음 제거 토큰을 더 잘 예측했다. 이는 토큰 중요도가 고정값이 아니라, 다른 토큰이 제거되면서 계속 재구성되는 context-dependent importance임을 보여준다.
Attention 분석	각 reasoning token이 이후 토큰으로부터 받은 layer×head별 평균 attention을 feature로 사용해 2-layer MLP를 학습했다. GSM8K 200개로 학습하고 1,000개로 평가했을 때, 실제 post-deletion likelihood와 Pearson correlation 0.88을 기록했다. 이는 attention 내부에 Greedy Pruning rank를 예측할 수 있는 강한 신호가 존재함을 의미한다.
핵심 기여	① likelihood-preserving deletion을 이용한 token-level diagnostic probe 제안, ② 압축 reasoning distillation에서 기존 방법보다 높은 성능, ③ symbolic computation 우선 보존이라는 해석 가능한 기능적 구조 발견, ④ 토큰 중요도가 pruning 과정에서 동적으로 변화함을 입증, ⑤ attention으로 pruning importance를 예측할 수 있음을 보임.
계산 비용	길이 n의 reasoning을 keep fraction ρ까지 pruning할 때 약 O((1−ρ)n^2)개의 candidate evaluation이 필요하며, naive Transformer FLOP 기준 최악의 경우 O((1−ρ)n^4)까지 증가한다. 평균 약 250-token의 GSM8K 8,000개를 30% pruning하는 데 8×H100에서 약 20시간이 소요되었다.
주요 한계	Greedy Pruning은 비용이 커서 inference-time 기법이 아니라 offline 분석·데이터 구축 방법이다. 또한 pruning rank는 deletion에 대한 likelihood sensitivity일 뿐 mechanistic·causal explanation은 아니다. 정답인 reasoning만 분석했고, 7B–8B 모델과 주로 GSM8K 기반의 기능 분석에 제한되며, 장기 reasoning model이나 잘못된 reasoning에는 검증되지 않았다.
논문의 정확한 해석	이 논문은 Greedy Pruning 자체로 즉시 serving FLOPs를 줄이는 방법이 아니다. 비싼 offline pruning으로 compact reasoning 데이터를 만들고, 이를 Student에게 distill하여 추론 시 짧은 출력을 생성하게 하는 접근이다. Greedy Pruning은 실시간 압축기보다 token-importance oracle 또는 diagnostic probe에 가깝다.
최종 결론	LLM의 reasoning에는 모든 토큰이 동일하게 기여하는 것이 아니라, 정답 생성에 필요한 수식·숫자·계산을 우선 보존하고 언어적·지시적 scaffolding을 먼저 제거하는 비자명한 기능적 중요도 구조가 존재한다. 이 구조는 모델 likelihood로 드러나고 attention에서도 예측 가능하지만, 중요도는 고정되지 않고 남아 있는 문맥에 따라 동적으로 변화한다.