Generative AI - LM Baseline

LM : 나열된 단어들의 조합에 확률을 부여하는 모델이다!

NLU : 자연어를 이해하는 모델 ex) 감정 분류

NLG : 자연어를 유창하게 말하는 모델 ex) 음성을 듣고 자막을 만든다.

Seq2Seq - encoder와 decoder로 구성된 모델이다
encoder : 자연어 이해 - 이해한 뒤 디코더에 넘겨준다.
decoder : 자연어 생성 - 이해한 내용을 가지고 자연어를 생성한다.

디코더만 있는 모델, 인코더만 있는 모델이 나뉘어져 있다.

 

사전학습 - 라벨이 없는 데이터로 Self-supervised learning을 진행한다.
BERT - NSP, MLM으로 빈칸 맞추기, 다음 문장 맞추기를 한다.
BART, T0m T5 - denoising으로 노이즈를 섞어둔 인풋을 원래대로 교정한다.
GPT, FLAN - LM로 다음 단어를 예측한다.

 

2020년 이후 특정 task에 대한 일만 잘하는 것이 아닌 모든 task를 잘하는 모델을 원하기 시작했다!

 

Seq2Seq 모델

Context vector가 결국 input에서 나온 마지막 hidden state이다.

LSTM 대신 다양한 RNN의 종류를 사용할 수 있다.

attention을 통해 중요한 정도를 표현할 수 있다. 

 

자연어에서 순서 정보는 너무 중요하다! -> 입력값에 추가하여 준다. = Positional Embedding

Positional Embedding

 

add Layer = Rdsidual connection으로 기울기 소멸 현상을 막아준다.