공대생 도전 일지

이 본문은 제가 복습하는 느낌으로 그냥 강의를 캡쳐한 것이라 실제 제가 한 것을 보고 싶다면 아래 링크로 가시면 됩니다. 2023.11.13 - [인공지능/공부] - Linear regression 1 Linear regression 1 import numpy as np import matplotlib.pyplot as plt # ==================== Part 1: Basic Function ==================== print('Running warmUpExercise ... ') print('5x5 Identity Matrix: ') def warmUpExercise(): return np.eye(5)# YOUR CODE HERE warmUpExercise( yoonscha..

내일이면 일본으로 출국하는데 저는 일본어를 못 합니다..... 그래서 이번에 GPTS를 활용해 보기로 합니다! 아.... 제작하다가 클릭 한번 했다고 만드는 과정은 다 사라졌네요..........이렇게 되어 있습니다. https://chat.openai.com/g/g-JSbsTpBVM-ilbon-yeohaeng-cingu ChatGPT - 일본 여행 친구Translates Japanese text in photos to Korean and suggests simple conversational phrases.chat.openai.com 사용해보실 분은 링크 들어가서 사용해 보시면 됩니다. 구글 지도를 통해 일본 아무 음식점 메뉴판 하나를 넣어볼게요너가 이렇게 답변하면 내가 읽을 수 없잖니.... 다시 수..

많이 봐왔던 타이타닉 데이터로 사용한다. 데이터의 70퍼센트가 비어있다면 탈락시키는 방법이다. 80프로는 채워져있고, 비어있는 값은 중앙 값으로 채워줄 수 있다. 대다수의 값으로 채우는 방법도 있다! 전처리를 재활용할 수 있도록 함수로 만드는 방법이 효과적이다. Exploratory Data Analysis 카테고리별로 데이터를 묶는다. 시각화를 보고 데이터를 파악한다. nun을 전부 28을 넣었기 때문에 28이 엄청 많아졌다. 다양하게 데이터들끼리 묶어서 확인해 볼 수 있다. Feature Engineering sex_to_id에선 male = 0, female =1로 가져서 위와 같은 과정을 거치면 010101로 바꿀 수 있게 된다. 함수를 만들어서 관리한다! 실행하면 지금은 성별에 대한 정보만 남는..

Bayes Classifier Logistic regression은 P(y|x)를 바로 근사하도록 학습 bayes classifier는 Bayes' theorem을 활용하여 분류 P(y|x) = p(x|y)P(y) / p(x) p(x) = sum{p(x,y)} = sum {p(x|y)P(y)} 항상 같은 값이다. 많은 경우 p(x)를 계산하기는 어렵다. 하지만 p(x)를 계산하지 않아도 된다. 독립 변수 k가 늘어날수록 차원의 저주가 발생 = 데이터의 요구량 폭증 - k개의 조합의 공간에서 분포를 충분한 근사하기에 요구되는 데이터양이 지수적으로 증가한다. = 2^k개의 확률이 필요하게 된다. 독립 변수 간의 종속성을 제거한다면 차원의 저주를 없앨 수 있다. => Naive Bayes Classifier ..

모델 평가 모델 학습에 대한 평가를 한다. metric 데이터 셋에 대해 모델의 성능을 평가하는 지표 cost error accuracy precision recall cost error Cost function의 출력밧 모델과 데이터셋 사이의 cost function으로 계산된 차이 accuracy 데이터셋 전체 샘플 갯수 중 모델이 정답을 맞춘 비율 true를 true라 하는지, negative라고 하는지를 보여주는 원이다. precision 모델이 positive라고 예측한 샘플들 중 실제 positive인 비율 recall 데이터셋 전체 positive 샘플 중 모델이 positive라고 예측한 비율 암을 비교할 때 사용 = 잘못된 예측을 해서 정상인을 암이 있다고 하더라도, 모든 암이 있는 사람..

classification은 discrete한 부류 k중 n개를 선택하는 문제 binary = 둘 중 하나 multi class = 세 개 이상 중 1개 multi label = 두 개 이상 중 1개 이상 one class = k=1, n=1 지도학습,P(y|x) x가 주어졌을 때 y의 확률 가설 집합 Hypothesis set = decision boundary 이 것을 잘 찾아야 잘 분류한다. 확률을 근사하는 모델을 만들기 위해 모델은 0~ 1의 범위를 가지는 출력을 해야 한다=> sigmoid 사용 0과 1로 분류해준다. 기본적인 식들은 이미 이전 글에 다 작성해 놨기 때문에 그건 링크로 남겨놓겠다. 2023.12.13 - [인공지능/공부] - 인공지능 중간고사 개념 정리 음 깔끔하게 정리해 놓은 ..

챕터는 4가지로 1. 머신러닝 2. 딥러닝 3. 텍스트 분류 4. 언어 모델 이다. 1,2는 빠르게 넘어가고 3,4 에서 확실하게 하고 넘어가면 괜찮을 듯 하다. https://separate-darkness-400.notion.site/6ccceffafe2f41edbc9f4ac2940c7388 초격차 패키지 : 자연어 처리 트렌드 정리 | Built with Notion Built with Notion, the all-in-one connected workspace with publishing capabilities. separate-darkness-400.notion.site 이런 것도 정리해서 올려주시네요 좋다... 머신러닝이 비효율적인 예 - 단순 계산기, 시간 계싼, 수수료 계싼 등등 이미 최적..

VGG의 feature map의 크기이다. 큰 필터를 안 쓰는 이유는 밑에서 보여주겠다. 7*7을 한번 하나 3*3을 3번하나 관여영역(receptive field)는 같지만 파라미터의 수는 3*3이 훨씬 적다. 이러한 이유로 VGG에서도 3*3 filter를 여러번 사용하였다. skip connection은 gradient의 소실때문에 생겨났다. 정보의 손실을 손실을 줄여주고, gadient 소실 또한 줄여준다. Super-Resolution 영상처리에서 많이 사용되는 기법이다. 이전에도 사용했던 skip Connection을 통해 loss 손실을 방지하고, 이전에 무엇이 있었는지(공간정보, 상세정보)를 전달해준다. skip connection을 통해 전달받은 max값의 위치를 통해 decoder에서 ..

Overfitting overfitting은 traning data에 과도하게 optimized 되어 training data만 예측을 잘 하고, test data에는 오히려 낮은 점수를 보이는 것이다. 그래서 우린 데이터를 나누기로 결정한다. 데이터 불균형이 있는경우 (ex 100 10 100 -> 100 100 100)우린 데이터를 돌리기, 좌우대칭, 자르기, 밝기 변동 등을 활용해 데이터를 늘릴 수 있다. 네트워크가 너무 특정화되거나 커지면 오버피팅이 발생한다. 또한 weight가 너무 특화되거나 너무 큰 경우 발생한다. weight decay는 가중치가 커지지 않도록 방지하는 기술이다. 이 것은 하이퍼 파라미터로 커질수록 제제하는 강도도 커진다. 가중치가 너무 커지는 것을 방지하여 오버피팅을 피하..

Initialization 빠르게, 그리고 global minimun을 찾기 위해 Initialization은 중요하다. 위 사진만 봐도 금방 끝날 학습은 바로 보인다. 이전에도 나온 적 있는 그림이다. backpropagation을 하면서 gradient가 소실되는 것이다. vanishing gradient의 원인인 sigmoid와 tanh의 미분 브래프 이다. sigmoid는 미분하면 최대가 0.3이고, tanh는 1이고, 둘 다 양끝은 0이기 때문에 반복하다 보면 기울기 소실이 발생하는 것이다. 그리하여 나온 것이 ReLU이다. 그래도 여기서도 0이하의 값들이 소실되는 문제가 발생한다.(dying ReLU) 기울기 폭주는 너무 큰 기울기 값이 들어갔을 때 발생한다. 이것은 학습이 불안정해 지도록 만..