공대생 도전 일지

1. 다음 문장의 빈칸에 들어갈 가장 적절한 단어를 고르시오. “ 머신 러닝에서 ________과 _____________은 분리되어 있음” 하나를 선택하세요. 1.특징 추출, 다운스트림 작업 2.특징 학인, 업그레이드 작업 3.특징 노출, 다운그레이드 작업 4.특징 확충, 애플레케이션 작업 머신러닝은 사람이 직접 특징을 추출해줘야 한다고 했으니 1번빼고는 다 사라지네요. 다운 스트림이 뭔지는...? 정답은 "1. 특징 추출, 다운스트림 작업"입니다. 설명: 머신 러닝에서 '특징 추출'과 '다운스트림 작업'은 서로 분리되어 있습니다. 특징 추출(feature extraction)은 원시 데이터로부터 유용한 정보를 추출하여 학습에 사용할 수 있는 형태로 변환하는 과정입니다. 다운스트림 작업(downstre..

CNN의 한계...? FCN에서 위치 정보 뭉게지는거? 계산량 너무 많은거? 옹? 이거 잘 잡는다고 배웠었는디. 데이터가 부족해서 그런가...? 이건 좀 무섭네요 구성 요소만 다 있으면 pooling으로 위치정보가 사라지면 저것도 사람으로 볼 수가 있다니... 극복은 어떻게 할껀데요,...? 결국 Transformer...?

이것도 똑같은 방식으로 학습하쥬 - 에러에 따른 경사하강법! 예측할 때 사용되는 방식! 학습하다보면 에러가 점 점 줄어든다-> 일정 수준 이하로 내려오면 끝낸다! 이 에러를 보는 법 == Loss function

구조라면 뭐 많은 수의 hidden layer...? FCN! drop out도 없이!? 여태까지 back propagation에서 사용했던 것도 FCN이다. normalization 수를 규칙에 따르게 만든다. skip-connection

ANN은 처음 들어보는 단어네요 차원을 flatten시킬 수 있다. 사진 -> 1D 영상 -> 2D = 사진 + 시간 비디오 -> 3D = 사진 + 시간 + 소리 hyperparameter == 경험적! 뉴럴넷의 시각화를 볼 수 있다.

이전에 CNN에서 Convolution이라는 것을 활용했죠 항상 말하는 기계학습은 인간이 특징 추출을 해줘야 한다! 기계학습을 직접 해본적은 없어서 ..... 딥러닝은 깊은 뉴런 구조로 다 풀겠다. 일종의 scanning이다. 이미지 사이즈도 점점 줄일 수 있다. 커널이 커질수록 feature map이 점점 작아진다. Stride가 없어졌네요...?

1. 다음 문장의 빈칸에 들어갈 가장 적절한 단어를 고르시오. “특징 값이 2개인 경우 선형 회귀는 _____에 피팅되며, 예측 함수는 _____ 공간에서 표현될 수 있다.” 하나를 선택하세요. 직선, 2차원 직선, 3차원 평면, 2차원 평면, 3차원 특징 값이 2개면 bias까지 합쳐서 3평면에 3차원이다! 정답은 "평면, 3차원"입니다. 설명: 특징 값이 2개인 경우, 선형 회귀 모델은 두 개의 독립 변수를 기반으로 하므로, 이를 그래픽으로 표현할 때는 3차원 공간에서의 평면으로 나타납니다. 두 독립 변수(x축과 y축)와 종속 변수(z축) 사이의 관계를 3차원 공간에서 평면으로 표현할 수 있습니다. 따라서 예측 함수는 3차원 공간에서 평면으로 표현됩니다. 특징 값이 2개인 경우 선형 회귀는 평면에 피..

정규 방정식! 데이터 개수 - m 특징 개수 -n 정규 방정식 - Normal Equation X의 역함수는 구하기 힘들다. 행과 열의 크기가 같지 않기 때문.. 그래서 오차를 최소화 하는 방식으로 진행한다. 반복적으로 구하지 않아도 된다! 손으로 하기 너무 복잡하니 툴을 활용하자 이제 새로운 값이 들어와도 예측할 수 있다. 딥러닝도 저럴 수 있다면.... 역시 계산량에서 차이가 있었습니다. 역행렬이 없다면 이 방식을 사용할 수 없다. 언제 안될까?

새로운 특징 값? 이 3 개를 곱하면 부피가 나온다. 이런 방식인 줄은 몰랐네요 ㄷㄷ.. 필요 없는 특징을 찾기! 다항식을 활용할 수 있다. 복잡하고 비선형성을 가질 수 있다. 이렇게 되면 스케일링이 매우 중요해 진다.!!!! 3제곱이 되기 때문에 차이가 어마무시하게 커진다. 제곱근 말고도 로그를 활용할 수 있다.

오버 슈팅, 너무 느린 수렴 속도 이것 때문이라도 스케일링이 중요하겠네요 초기에는 빠르게 감소하다가 수렴에 다가가면 천천히 감소한다 -> 언제 비용함수 값이 최솟값에 도달했는지 판단할 수 있다. 경사 하강의 발산 - 오버슈팅 -> 학습 상수가 너무 크다. 보통 저는 0.001 사용했던것 같네요 adam optimizer로 보완된건가...? factor는 사용해본적이 없네요. 그냥 0.03을 넣은 적은 있어도,..