공대생 도전 일지

Regularization이전 글에서 나왔던 오버 피팅을 방지하기 위해 나왔던 방법이다.2024.08.25 - [인공지능/공부] - 딥러닝 복습 1 - Linear Reagression, Logistic regression,Neural Network 딥러닝 복습 1 - Linear Reagression, Logistic regression,Neural NetworkLinear Regression 선형 회귀로 지도학습(Supervised Learning)을 통해 정답을 학습해 입력에 대한 예측을 출력ex) 집값 예측, 키에 따른 몸무게 예측, 주식 등등..Cost function예측 값h(x)과 정답 값(y)에 대한yoonschallenge.tistory.com이렇게 정규화 항은 loss function뒤..

Linear Regression 선형 회귀로 지도학습(Supervised Learning)을 통해 정답을 학습해 입력에 대한 예측을 출력ex) 집값 예측, 키에 따른 몸무게 예측, 주식 등등..Cost function예측 값h(x)과 정답 값(y)에 대한 오차를 Loss function으로 보여주며 값을 감소하는 방향으로 나아간다.학습에 관련된 단어Batch - 전체 데이터 세트Epoch - 전체 데이터 세트를 몇 번 반복하는가Mini batch - Batch를 batch size로 나눈 작은 데이터 뭉치Iteration - 총 반복한 횟수로 Epoch*mini batch개수 이다.Gradient descent 경사 하강법으로 딥러닝이 학습하는 방식이다.Cost function을 미분하여 기울기를 구하고..

오버 슈팅, 너무 느린 수렴 속도 이것 때문이라도 스케일링이 중요하겠네요 초기에는 빠르게 감소하다가 수렴에 다가가면 천천히 감소한다 -> 언제 비용함수 값이 최솟값에 도달했는지 판단할 수 있다. 경사 하강의 발산 - 오버슈팅 -> 학습 상수가 너무 크다. 보통 저는 0.001 사용했던것 같네요 adam optimizer로 보완된건가...? factor는 사용해본적이 없네요. 그냥 0.03을 넣은 적은 있어도,..

MLP 이것도 블로그 내에 엄청 자주 나오던 내용이다. 모델 최적화 각각의 미분값들을 계산해 놓아서 저장된 값을 빠르게 사용하여 중복 계산을 막는다. 여기선 다 1이다. ( 변하는 만큼 변한다.) 곱하기에선 비율만큼 움직인다. b는 a의 제곱이니까 넣으면 알 수 있다. Gradient Descent