이전의 토큰 하나만을 보기 때문에 이전의 정보가 사라진다! 단어의 조합은 무한하다 ! -> 희소 행렬을 만들게 된다! 이것도 무한한 것은 동일하지 않나....? 라마는 달린다 -> 아직 한번도 안나왔음 -> 확률은 0 사슴 고양이 개는 나온적이 있어 확률이 있다. 라마가 포유류라는 것을 알았다면 '라마는 달린다'도 비슷한 확률을 부과할 수 있다. 라마, 고양이, 개, 사슴의 토큰에 대한 임베딩이 비슷하다면 유사하다는 것을 전달할 수 있다. 위의 동물들은 유사한 문맥들을 가진다!