Towards Compressive and Scalable RecurrentMemory

https://arxiv.org/abs/2602.11212

Towards Compressive and Scalable Recurrent Memory

ICLR 2026에 제출했지만 리젝했네요 

 

여기서도 동일하게 transformer가 long context에서 attention 비용이 quadratic하게 증가하고, 기존 recurrent memory는 이론적 정당성과 실용적 확장성 사이에 trade-off를 말합니다. 그래서 긴 context를 많이 저장하기 보다는 어떻게 압축해야 정보 손실을 줄일 수 있는가가 핵심 문제라고 말합니다. 

그래서 여기선 HiPPO 기반의 수학적 함수 근사로 과거 key/value 정보를 고정 크기 memory state에 압축하고, 필요할 때 polynomial sampling으로 다시 복원해 attention에 넣는 elastic memory를 제안합니다. 

=> 과거의 토큰을 그대로 저장하지 않고, 어텐션 정보를 하나의 곡선처럼 저장했다가 다시 꺼내 쓰는 것입니다.

 

현재 블록에서 Q, K, V 만들기 -> Memory Retrieval -> Trapezoidal attention -> Memory Update 

기존 메모리 모델 구조와 어떻게 다른지 보여주며 파라미터가 존재하지 않고, HiPPO로 메모리를 키울 수 있지만 이건 학습 파라미터가 아닌 memory state dimension임 

PPL이 낮은 것을 통해 성능이 우수하닥 ㅗ말하고 있다. 

메모리 사이즈를 키웠을 때의 변화로 성능이 안정적으로 좋아지는 모습을 보여준다. 

모델이 커질수록 성능이 좋아지는 모습이 보이며 uni, exp의 차이도 지속적으로 보여주고 있다. 

exp는 최근 context를 좀 더 촘촘하게 복원하고, uni는 과거 전체를 균등하게 복원한다. 

table 5는 학습 끝난뒤에도 검색 방식만 바꿔 성능을 조절할 수 있나 확인해보았고, 각각 장점인 방식으로 바꿀 수 있음을 보여줬다.

진짜 long-term memory를 사용하는지 확인하였습니다.

그를 위해 일부로 랜덤 노이즈를 통해 키 벨류를 망가뜨리고, 성능을 측정했다.

여기선 실제 정보를 압축한다고 보여준다. 

 

논문 문제	Transformer는 긴 문맥에서 attention 비용이 quadratic하게 증가하고, 기존 recurrent memory는 이론적 정당성과 실용적 확장성 사이의 trade-off가 있음.	긴 context를 단순히 더 많이 저장하는 것이 아니라, 어떻게 압축해야 정보 손실을 줄일 수 있는가가 핵심 문제.
제안 방법	Elastic Memory를 제안. 과거 Key/Value sequence를 continuous signal로 보고, HiPPO 기반 online function approximation으로 고정 크기 memory state에 압축.	memory를 heuristic summary가 아니라 수학적으로 정의된 최적 polynomial approximation 문제로 재정의.
핵심 아이디어	과거 전체 token을 저장하지 않고, 과거 K/V trajectory를 Legendre polynomial basis 위의 coefficient로 표현.	raw KV cache나 summary token보다 더 principled한 compression. 긴 문맥의 저주파/semantic structure를 보존하는 방향.
Memory Update	block 단위로 HiPPO recurrence를 병렬화하여 C_i = P_i C_{i-1} + K^ˉ_i F_i 형태로 memory state를 업데이트. P_i, K^ˉ_i는 precompute/cache.	token-by-token recurrence의 sequential bottleneck을 제거하면서 HiPPO의 이론적 구조는 유지.
Memory Retrieval	압축된 coefficient state에서 reconstruction matrix R_i를 통해 K_{mem}, V_{mem}을 복원. 이후 current block의 K/V 앞에 붙여 attention 수행.	memory state와 retrieval 방식이 분리되어 있어, inference 시점에 retrieval bias를 바꿀 수 있음.
Sampling 전략	Uniform sampling은 과거 전체를 균등하게 복원하고, Exponential sampling은 최근 context를 더 촘촘히 복원.	Exponential은 일반 PPL에 유리하고, Uniform은 먼 과거 정보가 중요한 LongPPL에 유리. 즉, retrieval policy에 따라 성능 성격이 달라짐.
실험 설정	PG-19, Proof-Pile, FineWeb-Edu의 32k+ long-document language modeling에서 평가. block size는 2,048. Llama 3 기반 architecture를 사용하고, 모든 모델은 scratch에서 40B tokens 학습.	long-context memory 성능을 보기 위한 비교적 통제된 실험 환경. baseline은 Transformer++, Memorizing Transformer, Infini-Transformer, Melodi.
주요 결과	Elastic Memory는 추가 trainable parameter 없이 강한 성능을 보임. Elastic Memoryexp는 PPL에서 가장 강하고, Elastic Memoryuni는 LongPPL에서 가장 강함. 1x memory의 Elastic Memoryexp가 16x Memorizing Transformer보다 낮은 PPL을 달성.	단순히 memory를 많이 저장하는 것보다 principled compression이 더 효율적일 수 있음을 보여줌.
Scaling 결과	memory size를 1x→16x로 키울수록 Elastic Memory의 성능이 안정적으로 개선됨. model size를 100M→400M으로 키워도 장점 유지.	memory capacity가 모델 dimension에 묶이지 않고, HiPPO dimension (N)으로 확장 가능하다는 점이 강점.
추가 분석	test-time sampling bias injection 실험에서 retrieval 방식을 바꾸면 PPL/LongPPL trade-off를 조절 가능. local context corruption 실험에서도 Elastic Memory가 더 robust.	모델이 실제로 long-term memory를 활용하고 있으며, memory representation이 특정 retrieval 방식에 과도하게 고정되지 않았음을 시사.
장점	이론적 기반이 명확하고, 추가 parameter 없이 memory scaling 가능하며, full 32k context를 압축 형태로 접근 가능. Melodi보다 효율적이고 빠름.	long-context Transformer에서 compression, scalability, efficiency를 동시에 노린 설계.
한계	실험 규모가 100M–400M 중심이고, 평가는 PPL/LongPPL 중심. QA, reasoning, retrieval, agent task 같은 downstream 검증은 부족함. precomputed matrix bank도 구현 부담이 있음.	7B+ LLM이나 실제 long-context downstream task에서 동일한 이득이 유지되는지는 추가 검증 필요.
최종 의의	이 논문은 long-context memory를 “더 많이 저장하는 문제”가 아니라 과거 K/V signal을 어떻게 압축하고 복원할 것인가의 문제로 바꾼다.	핵심 기여는 cache-based memory → function-approximation-based memory로 관점을 전환한 것.