자연어 처리 python - skip thought vector

sentence Embedding

유사한 임베딩은 가까이 유사하지 않은 것은 다른 곳을 향하게 된다.

728x90

sentence embedding을 잘 만드는 것으로 좋은 모델을 만들 수 있다.

어휘는 유사하지만 완전히 다른 의미와 완전히 다른 어휘와 동일한 의미!

이전에 사용되었던 토큰단위!

첫번째 문장이 나왔을 때 두번째 문장이 나올 확률도 구할 수 있다.

skip thought vector

GRU도 RNN의 일종이다.

학습 object

Quick- thought vector

여러개 문장을 주어주고, 그 중 가장 알맞는 문장을 고르도록 학습하게 된다!

여기선 '오늘 날씨는 맑습니다'가 학습하면서 나올 확률이 높아지고, 출력하게 된다.