728x90
728x90
긴 문장, 큰 이미지 등 input이 엄청 클 때 사용된다. (h1, h2, h3 ...... hn)
대부분이 Multi-head를 사용한다.
728x90
'인공지능 > 공부' 카테고리의 다른 글
| 생성형 인공지능 퀴즈 4 (2) | 2024.03.27 |
|---|---|
| 생성형 인공지능 4주차 Transformer 5차시 - Transformer 동작 원리 (0) | 2024.03.27 |
| 생성형 인공지능 4주차 Transformer 3차시 - Self-Attention 2 자기 주의 (0) | 2024.03.26 |
| 생성형 인공지능 4주차 Transformer 2차시 - Self-Attention 1 자기 주의 (0) | 2024.03.26 |
| 생성형 인공지능 4주차 Transformer 1차시 - 워드 임베딩 word embedding (1) | 2024.03.26 |