딥러닝 응용 - 2주차

시냅스는 10^11개 있고, 10^14개의 연결이 존재

 

Perceptron

x_0는 Bias가 되고, 이 것을 통해 linear regression 혹은 Classification이 진행될 수 있음 

Sigmoid를 통해 확률 값으로 추정할 수 있다.

 

Multi Perceptron

입 출력이 여러 개다.

출력도 벡터 상태이고, Multi Classification를 Softmax 통해 진행하여 각각의 확률 값 알 수 있음

 

stochastic gradient descent - 기울기의 반대 방향으로 lr을 통해 최적점으로 계속 학습 

Multi linear output nodes에서도 동일하게 진행된다

 

확률로 해석하고 싶다 - Sigmoid or Softmax

 

Entropy - 확률이 0이나 1이면 Entropy는 0 
정보가 얼마나 있나 -> 정보가 없으면 큰 수, 정보가 많으면 작은 수 

Entropy

 

Cross Entropy - 두 분포 사이의 거리
p == q 일 때 가장 작다.

 

KL - p와 q/p의 Cross Entropy 

보통 p는 정답, q는 파라미터 

 

Cross Entropy나 KL은 동일하다. 

 

모든 학습 알고리즘은 체인 룰로 이어진다.

 

 

Preceptron이 여러 개라 Cross entropy, Softmax를 사용하고 있을 때 

식이 살짝 복잡

 

 

이 땐 Sigmoid도 없어서 hard threshold 로 설정

 

 

And, Not, OR은 출력할 수 있음

그러나 XOR은 불가능 - 1969년

단일 퍼셉트론으로 한계 직면 

 

Multilayer Perceptron을 통해 해결!

Non-linear인 함수를 통과해야 함 
=> 입력을 단순 Linear의 곱을 통해 나오면 메트릭스에 단순 메트릭스를 또 곱한 것이기에 단 층 퍼셉트론이랑 큰 차이가 나지 않음 
=> XOR 문제를 풀 수 없음 

 

출력을 Regression한다! 
=> 1차함수 가능하다.
=> 2, 3차가 가능할까?! ==> 가능하다. universal Approximation Theorem 

모든 연속함수를 w만 잘 구하면 근사화할 수 있다. => 노드 수를 많이 하면 정확하게 계산가능 

Fourier Theorem - 어떤 미분 가능한 연속 함수도 cos, sin의 조합으로 표현할 수 있다. 

 

컨백스?

and와 or의 연산 지속을 통해 모양이 다 가능하다.

and로 그룹을 만들고, or로 연결하기 

 

여기서 중요한 게 뭐냐 하면 얘가 시그모이드와 같은 어떤 난 리니어 액티브액션 함수라고 하는데 난 리니어리티 통과 해야 돼요.
아더 트레시 맥스 시그몬드 이런 것들이 나 리니어지고 우리는 직선이라 1차식 1차식이 아닌 어떤 함수를 통과해야 되는데 그게 왜 중요하냐 입력과 너무 곱해져서 지가 만들어졌다고 칩시다.
근데 난 리니얼리 그거 없이 그냥 통과가 됐어. 그래서 요 g 값이 또 여기에 있는 웨이트 위랑 곱해져서 y가 됐다고 치면 나중에 이제 나한테 경력 액티베이션 이라고 치지 않고 그냥 통합하고 하면 g라는 게 wx예요.
wx예요. g g 대신에 wx c 그럼 뭐예요? 매트릭스 곱하기 매트릭스 곱하기 입력이에요.
매트릭스 곱하기 매트릭스는 그냥 매트릭스가 나와요.
그럼 매트릭스 여기도 보통 뉴라고 치면 뉴라는 매의 입력이 곱해진 거야 이게 뭐예요?
그냥 레이어 하나에 있는 프셉트론이잖아요.
그러니까 레이어를 여러 개 썼다 하더라도 이중에 난 레이지가 없으면 그런 함수를 통과하지 않으면 비록 그림은 여러 층으로 그렸지만 수학적으로는 이렇게 찌그러들어서 레이어가 하나 있네.
조가 동일해지는데 이렇게 하면 뭐가 된다고 그랬어요.
x와 문제를 못 풀어요. 풀려면 트냐 리니어프 x 직선의 위냐 아래냐로 구분할 수 있는 니다.
이걸 이제 리니어 로프라는 얘기를 하잖아요. 미니어이 세포라고 하는 직선으로 세퍼레이트 할 수 있다면 구할 수 있다는 메뉴얼이 세퍼러블한 문제는 풀 수 있는데 매뉴얼이 난 세퍼러블한 문제는 직선의 위아래를 구할 수 없는 문제 그런 문제는 층을 이루어서 구성을 해야지 풀 수가 있었어요.
x 6층으로 2층으로 비록 만들었지만 여기에 난 리니얼티가 없으면 다시 3층으로 줄어드니까 결과적으로 풀 수가 없게 되니까 복잡한 문제를 풀 그러면 반드시 나 메뉴이트가 있어야 돼.
그래서 어떤 문제를 풀 수 있냐 우리가 리그레션을 한다면 눈 얘기 들어보고 여기 노드들이 많이 있어요.
그림에 세 개지만 이게 여러 개 있다는 이 출력을 리액션 하면 어떤 XR이 아니라 이제 리그렉션하는 건 어떤 함수를 y가 출력할 수 있느냐 예를 들어서 1차 함수 할 수 있냐 1차 함수는 할 수 있다는 거 알았죠.
우리가 리니어 w랑 s가 이렇게 주니까 그 말고 2차 함수 할 수 있을까?
3차 함수, 4차 함수 폴리노미아를 얘가 출력할 수 있을까 다수 할 수 있다면 오브 함수는 할 수 있을까?
지수 함수는 할 수 있을까? 사인 웨이만 할 수 있을까?
수 근데 사실은 제가 이때까지 얘기한 모든 함수를 다 이게 출력할 수 있어요.
물론 이제 더비 로이 잘 설정이 돼 있으면 출력할 수 있습니다.
이게 유니버셜 어토로피네이션 이라 입력으로 이제 컨티뉴스 벡터라고 그러거든요.
출력이 어떤 연속 그런 함수 연속 가능한 모든 연속 함수를 얘가 적어도 여기만 잘 설정이 있으면 모델링 할 수 있을 할 수 있습니다.
근사화할 수 있을까? 비슷하게 포스메이션 할 수 있어요.
분사에 에러가 생기는데 그 에러를 줄이려면 어떻게 하냐 하면 로드 수를 많이 하면 돼요.
그래서 로스가 만약에 무한이 많다 그러면 정확하게 그 함수를 계산할 수 있는 근데 일반적으로 무한이 많지 않으니까 그래서 우리가 이거 증명할 수 있어요.
어떻게 증명하냐 아까 지방 부분 피루엣 떼어럼이라는 걸 이용해요.
피리엣 떼어럼이 뭐냐 하면 QLT라는 사람이 시간 영역의 데이터를 주파수 영역으로 바꾸고 반대로 주파수 영역을 시간 영역으로 바꾸는 근본적인 아이디어는 그가 뭐냐면은 어떤 함수라도 하모닉 사인과 코사인의 조합으로 다 표현이 가능하다고 한 게 피리의 테라다 어떤 함수 지수 로 사인 일지 않고 있지 않는 이런 모든 함수도 이렇게 연속하는 그 가능한 연속 함수를 어떤 함수라도 단순한 사인 또는 코사인들의 조합으로 표현할 수 있다.
이게 피의 깨어롬인데 그 깨어롬을 우리가 인정한다면 여기다가 함의 함수들을 주면 돼요.
여기다가 이제 나 리얼리티의 시그모이드만 사용할 수 있는 게 아니죠.
여기다 사인 함수 이런 거 사인 함수 이런 것들을 주고 그거에 웨이티드 썸이 되니까 정확히 피의 필리핀 서시스라고 그러죠.
박스 센터 시스가 되는 거죠. 피트 병을 모르는 사람이야.
그런 사람을 위해서 제가 다른 방법으로 설득을 해볼게요.
우리가 시그모이드였어요. 이렇게 입력을 해서 이건 시그모이드가 출력이 되고 여기에는 여기다 다 negative를 곱해서 시그모이드가 출력이 되면 이 반대 방향이 되겠죠.
그래서 시그모이드가 하나는 이렇게 생겼고 다 negative를 준다면 그거에 반대 방향으로 이렇게 생겼겠죠.
이게 더해져요. 더해지면 요약하시면 이런 모양이요.
일단 똑같은 게 생기 두 개가 아니라 여기 또 두 개가 더 있다 그러면은 이렇게 생겨요.
여기도 있다 그러면 이렇게 생겨 이게 아주 많다. 그러니까 여기 두 개짜리가 많아요.
여기 많아 그러면 이런 것들이 이렇게 생겨요. 그게 여기 다 더해지는 거야.
그러면 어때요? 여기서 약간 울퉁불퉁하지만 연속 함수가 나와요.
울퉁불퉁한 걸 없애려면 어떻게 하면 되겠어요? 얘네들을 촘촘히 많이 배열하면 되죠.
그러니까 이게 메인 수가 많으면 많을수록 어떤 연속 함수도 다 표현은 가능한 거죠.
그러니까 어떤 함수라도 리베스을 할 수가 있어요.
더 이상 리니얼 리그레션은 단 로벨 레시 입력 데이터를 보고 추적 데이터를 유추하는 그런 함수를 짰는데 그게 1차 식이 아니라 이상하게 복잡하게 생긴 2차식 3차식 사인 포센 로그 지수 우리가 알고 있는 모든 연속 함수도 다 얘가 적어도 표현할 수 있는 능력은 다
클래스케이션에서 입장 클래스케이션 하다는 입장에서 보면 퍼시스템이 하나였을 때 이게 직선으로 표현했을 때서 직선이 위에 있냐 밑에 있냐 이 세퍼러블하냐 그렇지 않냐 하는 문제를 풀 수가 있었죠.
두 개 있으면 아까 어떻게 됐어요? 이 직선에는 위에 이 직선의 밑에 그러면 이런 데 쓸 수 있어요.
또는 요 직선의 위에 그다음에 요 직선의 밑에를 엔드로 연결하면 이런 공간을 두 보면 파시트고 그렇지 않으면 내가 지금 비금친 공간에 하면 positive 그렇지 않으면 negative로 클래시피케이션을 할 수가 있죠.
여 레이어가 2개가 있으면 히든 레이어 하나 아웃풋 레이어 하나 만약에 하나가 더 있었어요.
히들 레이어가 2개 있고 아웃풋 레이어가 있었어.
트리 레이어 네트워크 있어. 그러면 여기서 이거 하나가 이제 이 직선이 이쪽이냐 고 다운로드는 이 직선이야 밑에냐 그다음 거는 이쪽이냐 이쪽이냐 이거 그거를 그걸 엔드로 연결해 그러면 요거 요거 다 맞아그냥 이런 영역이 표현이 돼요.
요면은 여기 들어오면 파스트고 그렇지 않으면 내가 이 이쪽도 있어 얘를 보고 이거야 안쪽 이거야 이쪽 이거도 이렇게 해가지고 그걸 다 엔드로 연결해 그러면 다시 그다음에 이 위에는 이것도 or로 연결시켜 그러면은 여기에 속하거나 여기에 속하면은 사실 션 negative를 표현할 수가 있죠.
이게 일반적으로 그러니까 이 여기서 오드 레이아웃 있잖아요.
여기에 밑에 여기에 이탈리 앤드로 연결시키면은 이거 밑에 이거 위니까 이렇게 뒤꿈치 부분 이게 볼록하잖아요.
이거 컴백스라고 그러시죠. 그래서 로드가 많아지면 이거예요.
안쪽이 뭐예요? 안쪽을 할 거죠. 어떤 컨벡스의 한 한쪽에 있냐 그렇지 않냐를 판단할 수도 있는데 얘는 이런 것도 표현할 수가 있어요.
이것도 이렇게 된 거 하나 태어나고 이쪽은 또 이렇게 된 거 하나 태어나고 또 여기 노트가 하나 있으면 이렇게 된 거 하나 다 이런 다각형이죠.
이것들이 전부 다 or로 연결되면 이렇게 볼록할 뿐만이 아니라 이렇게 들어가는 부분 컨 케이블 하고 그러죠.
컨택트뿐만이 아니라 컨테이블 보여 그 안에 입양 보 심지어 이런 것도 할 수 있겠죠.
이렇게 끊어서 사각형 만들고 이렇게 합성돼서 이런 컴팩터들이 or로 연결되면 이렇게 뛰어내려 이쪽으로 3 레이어 컨셉트 가지고 뭐를 할 수 있어요?
클래스피케이션을 하는데 클래스피케이션을 하는 그 리전 중에 어떤 모양으로 생기든 할 수 있어요.
물론 무기가 더 스무스 해야 돼 그러면 어떻게 해야 되겠어요?
이렇게 이게 좀 동그랗게 되는 거 그럼 스무스하게 하려면은 로드가 많이 필요하죠.
지금 붙일수록 무한이 많다. 그러면 무항도 어떻게 나와 프레이어면 컨덱스밖에 못 하고 원 레이어면은 직선 상황만 하는데 프레이어가 되면은 이 모형이 어떻게 되든 다 할 수 있다 하는 겁니다.
그런데 물론 중요한 거는 뭐였어요? w들이 잘 설정이 돼 있으면 그걸 하는 거예요.

 

Gradient descent은 Local min에 빠질 수 있다. - 지금도 이런 아이디어를 활용하고 있지만 Local을 벗어나기 위해 다양한 연구들이 진행됨 

 

output을 통해 hidden nodes을 학습할 수 있지만 그 밑에는 어떻게 학습하냐!!
=> 체인 룰을 통해 밑에 Loss를 전파한다. 

 

Deep neural Network

Hidden layer를 여러 개 넣는 것은 맞다 

Layer에 node 수가 적어도 층이 많으면 좋았다. 
- 층이 올라가면서 개념이 추상화된다. 

??? : DNN은 결국 Hidden layer의 Representation을 학습하는 과정이다. 

 

학습 방법은 크게 다를 것이 없다.

 

연산량 O(Ln^2) 

 

 

중간 고사 - 논문 세미나 

14개 => 논문 중 하나를 선택해서 발표 

팀 -> 1 ~ 3명 금요일 오전 9시