인공지능/자연어 처리

자연어 처리 python - 워드 임베딩 만들기 - GloVe

이게될까 2024. 3. 17. 21:43
728x90
728x90

 

기존 임베딩 모델에 대한 비판

빈도기반 - 유의미한 단어의 변환이 있어도 유사도가 비슷하게 나온다.

word2vec는 n을 설정하기 때문에 전체를 반영하지 못한다.

 

GloVe란
GloVe 작동 원리

이럼 행렬이 엄청 커질거 같은데....

(중심)like 전체 등장 횟수중 (주변)deep과 등장한 횟수으로 1/3으로 봐서 동시 등장한 확률을 볼 수 있다.

결국 어떤 단어가 등장했을 때 어떤 단어가 등장할 확률을 구할 수 있다.

 

 

GloVe 시사점

 

 

 

728x90