자연어 처리 - Neural language modeling 2

다양한 방법을 통해 neural language modeling을 만들 수 있다.

Convolution language modeling

좀 더 넓은 범위를 보게 된다. 그러나 연산량은 동일하다.

미래값은 포함하지 않는다!

순서를 가지고 오기 때문에 RNN이 가장 좋아 보이긴 한다.

2024.01.17 - [인공지능/자연어 처리] - 자연어 처리 - RNN, LSTM

자연어 처리 - RNN, LSTM

 

 

SOS? : start of santence 문장의 시작

EOS : end of santence 문장의 끝

RNN language modeling 문장 확률 계산

오늘보다 더 높은 확률이 있지만 오늘이 선택되기 때문에 '오늘'의 확률을 보게 된다.

문장 생성

sos를 넣었을 때 가장 확률 높은 토큰이 오늘인 것이다!

그리고 계속 입력으로 집어넣고, 확률 높은 것을 계속 고르게 된다.

language modeling using transformer Decoder only model

마스킹을 이용해 미래의 단어는 확인하지 못한다! 과거의 정보만 확인할 수 있다.

language modeling using transformer Encoder only model

학습시에는 모든 정보를 다 가지고 정답이 나올 확률을 통해 경사하강법을 진행하게 된다.

p(x1),P(x2|x1)이 없기 때문에 문장의 확률이 아니다.

language modeling using transformer Decoder Encoder model