공대생 도전 일지

Regularization이전 글에서 나왔던 오버 피팅을 방지하기 위해 나왔던 방법이다.2024.08.25 - [인공지능/공부] - 딥러닝 복습 1 - Linear Reagression, Logistic regression,Neural Network 딥러닝 복습 1 - Linear Reagression, Logistic regression,Neural NetworkLinear Regression 선형 회귀로 지도학습(Supervised Learning)을 통해 정답을 학습해 입력에 대한 예측을 출력ex) 집값 예측, 키에 따른 몸무게 예측, 주식 등등..Cost function예측 값h(x)과 정답 값(y)에 대한yoonschallenge.tistory.com이렇게 정규화 항은 loss function뒤..

Overfitting overfitting은 traning data에 과도하게 optimized 되어 training data만 예측을 잘 하고, test data에는 오히려 낮은 점수를 보이는 것이다. 그래서 우린 데이터를 나누기로 결정한다. 데이터 불균형이 있는경우 (ex 100 10 100 -> 100 100 100)우린 데이터를 돌리기, 좌우대칭, 자르기, 밝기 변동 등을 활용해 데이터를 늘릴 수 있다. 네트워크가 너무 특정화되거나 커지면 오버피팅이 발생한다. 또한 weight가 너무 특화되거나 너무 큰 경우 발생한다. weight decay는 가중치가 커지지 않도록 방지하는 기술이다. 이 것은 하이퍼 파라미터로 커질수록 제제하는 강도도 커진다. 가중치가 너무 커지는 것을 방지하여 오버피팅을 피하..