자연어 처리 - 과적합 방지

오버피팅 발생하는 이유

L2 Regularization

L1 Regularization

sign(w)는 양수면 1, 음수면 -1이다.

L1 과 L2의 비교

Early stopping

Drop out

Dropout Scale Calibration

Inference단계에서 p를 곱하는게 아니라 (1-p)를 곱하면 된다.

Ensemble

우리 교수님 강의 자료랑 비슷하네