Sae 학습에 따른 dead_features

context_length	128	128	128
expansion_factor	16	32	64
latent_size	49,152	98,304	196,608
below_1e-5(sparsity)	42,602	91,309	171,941
head_features	42,257	88,793	169,247
죽은 feature 비율	85.97%	90.32%	86.08%
sparsity한 것 중 죽은 feature 비율	99.19%	97.24%	98.43%
학습 진행	62%	43%	19%

128_16

62% 정도 학습했는데... 너무 죽네요....?

128_32

여긴 43% 학습했습니다.

128_64

음 상당하게 죽네요....

여긴 19% 학습했습니다.

 

더 확인해 봐야겠지만 이 정도는 너무 심한데... 

 

https://www.lesswrong.com/posts/f9EgfLSurAiqRJySD/open-source-sparse-autoencoders-for-all-residual-stream

Open Source Sparse Autoencoders for all Residual Stream Layers of GPT2-Small — LessWrong

https://wandb.ai/jbloom/mats_sae_training_gpt2_small_resid_pre_5/reports/GPT2-Small-Residual-Stream-Sparse-AutoEncoders--Vmlldzo2NjkxMTkz

GPT2 Small Residual Stream Sparse AutoEncoders

조금 더 연구해보겠습니다...

 

학습 시간이 이건 뭐.....

일단 모든 모델은 내일부터 하나씩 여기에 올라갈 예정입니다.

https://huggingface.co/yoonLM

yoonLM (Yoon JeongHo)

써보실 분들은 튜토리얼 따라서 하나씩 써보세요 ㅎㅎ...

 

 

128_32