자연어 처리 - 문장의 그럴듯함을 측정하는 방법

문제 - 어색한 문장

문장은 문법이 있기 때문에 단어의 나열로는 불가능하다.

컴퓨터는 문장의 그럴듯함을 확률을 통해 수치화한다.

자동 완성 - 오늘이라는 토큰이 주어졌을 때 어떤 단어가 나올지 확률을 안다면 이어 붙여 주면 된다.

오타 교정 - 어떤 문장이 주어졌을 때 확률이 낮은 단어나 조사를 높은 확률의 토큰으로 추천해준다.

모든 것이 낮은 확률을 -> 높은 확률로 변하거나 가장 높은 확률을 선택하는 것이다.

언어 모델 자체는 비지도 학습이다. 인풋을 그대로 다음을 예측하도록 하기 때문!

RNN...?