자연어 처리 - Autoregressive language modeling

"오늘 날씨 어때"가 3번 나왔으므로 30프로가 나온다.

한 글자만 다르더라도 다른 문장으로 판단한다.

조건부 확률을 활용하여 좀 더 짧은 문장에 대한 확률도 구할 수 있게 된다. P(오늘)P(날씨|오늘) 이렇게 볼 수 있다.

가장 높은 확률을 고른 후 이어 붙이고, 계속 확률 높은 것을 이어 붙인 다음에 끝내면 된다.

문장 분류도 두 문장 중 가장 높은 확률을 구하는 것이다.