머신러닝 3주차 3차시 - 경사 하강, 학습 속도

오버 슈팅, 너무 느린 수렴 속도

이것 때문이라도 스케일링이 중요하겠네요

초기에는 빠르게 감소하다가 수렴에 다가가면 천천히 감소한다 -> 언제 비용함수 값이 최솟값에 도달했는지 판단할 수 있다.

경사 하강의 발산 - 오버슈팅 -> 학습 상수가 너무 크다.

보통 저는 0.001 사용했던것 같네요

adam optimizer로 보완된건가...?

 

factor는 사용해본적이 없네요.

그냥 0.03을 넣은 적은 있어도,..