context_length128128128expansion_factor163264latent_size49,15298,304196,608below_1e-5(sparsity)42,60291,309171,941head_features42,25788,793169,247죽은 feature 비율 85.97%90.32%86.08%sparsity한 것 중 죽은 feature 비율 99.19%97.24%98.43%학습 진행62%43%19%62% 정도 학습했는데... 너무 죽네요....?여긴 43% 학습했습니다.음 상당하게 죽네요....여긴 19% 학습했습니다. 더 확인해 봐야겠지만 이 정도는 너무 심한데... https://www.lesswrong.com/posts/f9EgfLSurAiqRJySD/open-source..
