생성형 인공지능 4주차 Transformer 4차시 - Multi-Head Attention 다중머리 주의

 

긴 문장, 큰 이미지 등 input이 엄청 클 때 사용된다. (h1, h2, h3 ...... hn)

 

대부분이 Multi-head를 사용한다.