생성형 인공지능 2주차 3 - Attention 1

 

INCORDER, DECORDER

인코더 디코더는 번역이나 생성형 인공지능에서 많이 사용되고 있다.

문장이 길어지면 결국 문제가 생긴다.

인코더에선 양방향 RNN을 사용하고, 디코더에선 한방향 RNN을 사용한다.

그 중간에 Attenton이 있다.

 context vector 

confusion matrix

가운데 잘 나열이 돼야 잘 된 것이다.