자연어 처리 문장 임베딩 만들기 - 자연어 처리를 위한 모델 구조

강의목표 - 자연어 처리 작업 수행에 주로 사용되는 모델 구조들에 대해 간략히 알아보자

문장 임베딩이란

언어 모델이란

컴퓨터가 처리할 수 있게 한다 -> 임베딩

모델링

 

 

언어 모델링

이전까지 단어가 주어졌을 때 다음에 올 단어의 확률 구하기

| = 조건부 확률

그럼 단어 스퀸스 자체의 확률은 엄청 작겠네

자연어 처리 모델 구조

 

 

RNN 의 한계 해결 == Seq2Seq

Seq2Seq도 RNN에서 벗어나지 않았다. == ELMo

Attention의 등장 ! = Transformer