l1 Coefficient에 따른 Sparse Autoencoder 학습, 출력 확인

학습 완료 직전에 네트워크 오류로 허깅페이스에서 데이터를 가져오지 못하여 60%, 80%만 확인할 수 있습니다...ㅠ

 

l1 coefficient	0.01	1	5	10	50	100
l1 Loss	1205.29	108.97	43.25	35.92	13.97	12.47
mse loss	2.24	153.03	287	376.66	764.88	782.06
over_all loss	14.29	262	503.28	735.83	1463.39	2028.89
below_1e-5	0	0	0	158	3996	4026
below_1e-6	0	0	0	158	3980	4026
dead_features	0	0	0	158	3911	4017
ce_loss_score				0.81	0.32	0.33
l0	3650.7	183.58	20.78	8.27	0.63	0.47
ce_loss_with_sae				4.9	9.01	9.01
ce_loss_without_sae				3.33	3.32	3.32
학습률	60%	60%	60%	80%	80%	80%

 

 

0.01

1

5

10

 

10

50

50

 

100

100

 

기본적인 모델의 출력은 이렇게 진행됩니다.

 

저는 학습이  많이 진행 된 l1 Coefficient 100부터 확인을 진행하였습니다.

그러나 이 것을 sae 통과시켜서 특이한 뉴런이 있나 확인했는데 아무것도 없다고 나오더라고여

보니까 SAE를 통과하면 출력이 전부 0이 되는 것을 확인했습니다.

activation에 들어가기 전 SAE에서 모양인데 하필... 전부 음수라서 ReLU를 태우면 전부 0이 되는 것을 확인했습니다..

모델도 완전히 고장난 것을 볼 수 있습니다.....

 

이번엔 l1 Coefficient 50도 확인해 봤으나 동일하게 전부 0이 되는 것을 확인할 수 있습니다.

평균은 이렇게 나옵니다.

어렵네요 ㅎㅎ,,,,

 

이번엔 l1 coefficient 10을 확인해보겠습니다.

그래도 이번엔 확실하게 살아난 뉴런들이 있는 것을 볼 수 있습니다.

수치도 확실히 크네요

평균 많이 커졌습니다.

 

출력은 고장났지만 Apple의 순위가 점차 올라옵니다.

449 -> 382 -> 339 -> 301 -> 262 -> 237 -> 211 -> 195

 

이번엔 l1 coefficient 5 입니다.

이번에도 4개가 크게 활성화 되었네요

평균은 l1 coefficient 10이랑 비슷하네요

무엇인가 조금 더 말을 하긴 하는데 아직도 좀 출력이 많이 별로네요...

Apple의 순위는 87위까지 오르긴 합니다만. ...

 

이번엔 l1 coefficient 1입니다.

 

활성화되는 뉴런이 엄청 늘었네요 

평균은 오히려 많이 줄었습니다.

coefficient가 줄 수록 mse도 감소하여 오히려 weight가 잘 줄어드는 모습을 잘 보여줍니다.

그래도 출력은 진짜 바보네요.......

가중치를 늘릴수록 순위는 올라가지만 출력은 지속적으로 바보네요 ....

 

이번엔 l1 coefficient 0.01인 경우입니다.

여기서도 특별하게 활성화되는 뉴런들 있습니다.

뉴런 출력들이 엄청 크네요

드디어 동일한 출력이 나옵니다!

가중치를 키우면 고장나는 것은 동일합니다.

Apple를 출력하기보다는 다른 관사들이 올라가는 것을 보면 확실하게 feature를 잡는 것 같지는 않지만 그래도 출력이 동일한 것을 볼 수 있습니다.