인공지능/자연어 처리

자연어 처리 - 과적합 방지

이게될까 2024. 1. 17. 20:30
728x90
728x90

오버피팅 발생하는 이유
L2 Regularization
L1 Regularization

sign(w)는 양수면 1, 음수면 -1이다.

L1 과 L2의 비교
Early stopping
Drop out
Dropout Scale Calibration

Inference단계에서 p를 곱하는게 아니라 (1-p)를 곱하면 된다.

Ensemble

우리 교수님 강의 자료랑 비슷하네

 

728x90