인공지능/자연어 처리

자연어 처리 - self attention으로 문장 표현하기

이게될까 2024. 2. 6. 01:48
728x90
728x90

attention의 등장
MMT모델
attention

이전의 예측값과 이번 값을 사용하여 soft max를 한다.

transformer

 

transformer 복습
최근에는 이렇게도 진행한다.

 

 

728x90