인공지능과 빅데이터 6주차 1차시 - 심층신경망, 딥러닝 개요

1957 - 프랑크 로젠블럿이 퍼셉트론 이론을 발표!

문제 1 역전파 알고리즘에서 인공 신경망이 깊어질수록 기울기 정보가 사라진다!
문제 2 학습 데이터에 대해서 오차가 감소하지만 실제 데이터에 대해서는 오히려 오차가 증가하는 과적합 문제
문제 3 문제의 규모가 커질 때마다 나타나는 높은 시간 복잡도와 컴퓨터 성능의 한계 

-> 인공신경망 이론 정체!

2012년 Res NET을 만들었다. - 이미지 인식의 최고 효율이 되었다.

이제 딥러닝 기술의 핵심 개념 및 특징이 나온다!

 

backpropagation으로 인해 첫번째 겨울이 사라졌었다. -> 비선형 분류 문제를 풀 수 있어졌다.

심층 신경망 학습이 힘든 것을 해결한 것이 힌튼이다. 

 

그래서 오버피팅이랑 기울기 소실 어떻게 해결했누

다 아는 방식 이었습니다.... 저 분이 만들어 내셨군요.......

 

일반 신경망 - 이전에 배웠던 다층 퍼셉트론

레이어가 굉장히 많다.

그럼 이제 LeakyReLU도 나오겠네유

활성함수를 쓰는 이유! == 활성함수의 비선형성 반영 - 없으면 backpropagation 시 weight 업데이트가 이루어지지 않는다.

ReLU를 사용하면 - 기울기 소실 문제 없이 출력의 오차를 줄인다.

 

학습에 사용된 데이터에만 딱 맞는 파라미터이기 때문! -> 실 사용에서 성능이 떨어진다.

무작위로 연결할 노드들을 선택하자!

한 번에 모든 노드들의 파라미터를 업데이트하는 것이 아니기 때문에 과적합이 사라진다.

 

다층 퍼셉트론 구조 - 노드들과 레이어들로 이루어진 기본적인 형태 -> CNN, RNN으로 발전

 

순방향으로 네트워크 진행하고, 역방향으로 업데이트한다!

같은 노드들끼리 연결되어있지 않지만, 다음, 이전 노드들은 완전하게 연결되어있다.

CNN도 사실 Deep Neural Network라고 부를 수 있어서 애매하긴 하다.

일단 그냥 3가지로 부를 수 있다 라고 알아두기

 

은닉층의 개수로 구분하기는 어렵다. 

딥러닝 알고리즘 - 역전파 알고리즘이 포함되어 있다.

 

심층 신경망 = 머신러닝 학습을 깊게!

 

사람이 feature를 지정한다. - 사람에 따라 너무 성능의 차이가 너무 크다!

-> 딥러닝은 알아서 지정한다. - 뭔진 모른다...