728x90
728x90
이전의 토큰 하나만을 보기 때문에 이전의 정보가 사라진다!
단어의 조합은 무한하다 ! -> 희소 행렬을 만들게 된다!
이것도 무한한 것은 동일하지 않나....?
라마는 달린다 -> 아직 한번도 안나왔음 -> 확률은 0
사슴 고양이 개는 나온적이 있어 확률이 있다.
라마가 포유류라는 것을 알았다면 '라마는 달린다'도 비슷한 확률을 부과할 수 있다.
라마, 고양이, 개, 사슴의 토큰에 대한 임베딩이 비슷하다면 유사하다는 것을 전달할 수 있다.
위의 동물들은 유사한 문맥들을 가진다!
728x90
'인공지능 > 자연어 처리' 카테고리의 다른 글
| 자연어 처리 python - skip thought vector (0) | 2024.03.01 |
|---|---|
| 자연어 처리 - Neural language modeling 2 (0) | 2024.02.21 |
| 자연어 처리 - N Gram language modeling (0) | 2024.02.16 |
| 자연어 처리 - Autoregressive language modeling (0) | 2024.02.15 |
| 자연어 처리 - 문장의 그럴듯함을 측정하는 방법 (0) | 2024.02.15 |