728x90
728x90
아담, 모멘텀 그런 류들 잔뜩 나오겠네요
그냥 이런 것이 있다 정도..
분모가 계속 커진다. -> 0에 수렴한다.
분자에도 만들어 0으로 가는 것을 막자!
굳이 분자 문모 다 만들지 말고 0만 안되게 하자
기울기 대신에 기울기를 누적한 것을 더해준다.
논리 게이트 구현 1
논리 게이트 구현 2
정규화의 중요성!
728x90
'인공지능 > 공부' 카테고리의 다른 글
| 딥러닝 개론 6강 - 합성곱 신경망 CNN 1 (0) | 2024.04.16 |
|---|---|
| 딥러닝 개론 5강 - 초기화와 정규화 (0) | 2024.04.16 |
| 딥러닝 개론 3강 - 신경망(딥러닝, 머신러닝) 학습 (2) | 2024.04.16 |
| 딥러닝 개론 2강 - 순방향 신경망 forword propagation (0) | 2024.04.16 |
| 딥러닝 개론 1강 - 딥러닝 개요 (0) | 2024.04.16 |