공대생 도전 일지

1. 두뇌에 관한 다음 설명의 빈칸에 들어갈 가장 적절한 단어를 고르시오. "_____________를 통하여 새로운 지식을 습득할 수 있으며, 아주 복잡하고 대규모의 _____________ 문제들을 해결할 수 있다." 하나를 선택하세요. 학습, 선형 학습, 비선형 지식, 선형 지식, 비선형 학습 ! 비선형! "학습을 통하여 새로운 지식을 습득할 수 있으며, 아주 복잡하고 대규모의 비선형 문제들을 해결할 수 있다." 따라서, 가장 적절한 답은 "학습, 비선형" 입니다. 이건 딱히 강의 자료에서 못 찾겠네요 학습을 통해 새로운 지식을 습득할 수 있고, 대규모의 매우 복잡한 비선형 문제를 해결할 수 있다. 정답 : 학습, 비선형 2.다음 문장의 빈칸에 들어갈 가장 적절한 단어들을 고르시오. "다층 신경망(..

언어 모델 중 하나인 BERT model이다. GPT- 한방향 Word embedding은 나무의 뿌리와 같다. BERT는 Encorder only에 속해있다.

또 and, or, xor 나오겠네요... 비선형 분류문제이다! 이건 선 하나로 구분이 가능하다! 층수가 더 많아지면? 오버피팅은?

계속 반복하면 여러개의 layer를 표현할 수 있다. 백터와 행렬로 만들면 더 편하다. 히든 레이어가 2개 있다.

인공 신경망 - 사람의 두뇌를 인위적으로 표현 뉴런과 뉴런(node) 사이엔 연결선(edge)이 있다. node와 edge는 학습 진행함에 따라 조정해야할 가중치를 가지고 있다. 수학적으로 모델링을 해보자! 가중치 = 파라미터 n+1차원으로 표현된다. 입력 레이어는 층으로 치지 않는다.

두뇌 : 인간의 신경 계통을 담당한다. 두뇌는 감각 기관을 통해 들어오는 신호도 처리한다. 두뇌는 뉴런의 전기 신호를 통해 정보를 전달 청각 담당 부분을 시각 센서와 연결 -> 청각 부분도 시각 부분을 담당할 수 있다. 청각 위치에 시각 정보를 연결함으로써 보는 것을 담당하는 것 확인 이거 너무 뇌로 가는거 아니여?

머신러닝 - 분류기를 학습시켜 분류할 수 있다. 눈 - 카메라 두뇌 - 머신러닝 알고리즘 컴퓨터가 보는 것은 눈으로 보는 것 이랑은 다른 수치 정보이다. -> 수치정보를 분석하여 정보 추출 너무 복잡하니까 피쳐는 임의의 픽셀 두개만 사용한다고 가정 복잡한 비선형 경계선이 필요하다. n*m,1의 긴 벡터 형태로 존재한다. 파라미터가 너무 많아진다. 오버피팅과 계산량의 문제를 해결해야된다.

공간적 상관관계 - 이미지에서 한 픽셀과 옆 픽셀과의 관계성 흑백 이미지는 한 픽셀에 한 값을 가지지만 컬러는 한 픽셀에 RGB 3가지 값 (채널)을 가지고 있다. 백터화 - 이미지를 한줄씩 떼어서 붙여낸다 -> 이미지의 모든 픽셀을 한줄로 만들어 낸다. -> 공간 정보가 사라진다. 즉 공간정보를 소실시키지 않기 위해 CNN이 나왔다. Convolution layer - 특징 추출 Fully connected layer - 특징을 통한 분류 머신러닝은 사람이 한다... 딥러닝은 컴퓨터가 추출을 뽑는다!!! -> Convolution layer에서 일어난다. 이미지를 그대로 넣어서 추출하기 때문에 공간정보도 살아있다. 영상의 크기도 줄일 수 있고, global feature도 얻을 수 있다. weight를..

딥러닝 - 학습, 모델링, 실제 사용에 대해 알아보자! 머신러닝은 사람이 먼저 피쳐를 고른다. 그 후 컴퓨터가 알아서 학습하여 구별한다. 머신러닝은 피쳐를 사람이 고른다! 딥러닝 피쳐는 잘 모르지만 컴퓨터가 잘 찾은 특징이다. - 사람이 놓칠 수 있는 중요한 특징을 잘 잡는다. -> 성능측면에서 더 좋을 수 있다 다만 더 좋은 성능이 나왔을 때 이유를 설명하기 어렵다. - 컴퓨터기 피쳐를 뽑기 때문 딥러닝 학습 - 원하는 방향으로 예측하도록 weight와 bias를 업데이트한다. 학습 시간이 오래 걸리는 단점이 있다. but feature를 잘 뽑아 낸다. 심층 신경망을 쓰는 딥러닝 기술이 항상 좋을까? - 항상 좋지는 않을거 같다. 일단 데이터 문제, 시간문제가 기본적으로 있다. 문제에 따라 적절히 분..

1957 - 프랑크 로젠블럿이 퍼셉트론 이론을 발표! 문제 1 역전파 알고리즘에서 인공 신경망이 깊어질수록 기울기 정보가 사라진다! 문제 2 학습 데이터에 대해서 오차가 감소하지만 실제 데이터에 대해서는 오히려 오차가 증가하는 과적합 문제 문제 3 문제의 규모가 커질 때마다 나타나는 높은 시간 복잡도와 컴퓨터 성능의 한계 -> 인공신경망 이론 정체! 2012년 Res NET을 만들었다. - 이미지 인식의 최고 효율이 되었다. 이제 딥러닝 기술의 핵심 개념 및 특징이 나온다! backpropagation으로 인해 첫번째 겨울이 사라졌었다. -> 비선형 분류 문제를 풀 수 있어졌다. 심층 신경망 학습이 힘든 것을 해결한 것이 힌튼이다. 그래서 오버피팅이랑 기울기 소실 어떻게 해결했누 다 아는 방식 이었습니다..