생성형 인공지능 특강

생성형 인공지능 - 어마어마하게 많은 GPU가 필요하다. 

달리나 chat GPT - 몇 만개의 GPU사용

?

다양한 생성 AI가 있다 - 비디오, 텍스트, 사진, 음악 등

자율 주행, 로봇, 드론 등 모든게 AI로 진행되고 있다.

...?

들어오는 것 인식 -> Encorder에서 담당한다. (얼굴 인식 등 Convolution도 인코더와 비슷한 느낌이다)

Decorder - 발생 - GPT도 디코더 모델!

컴퓨터 vision(영상처리)의 발전 - 자연어 처리에서 나왔다. Transformer? RNN?

토큰화화 후 자연어를 컴퓨터가 인식할 수 있는 embedding 벡터로 변환 

embedding - LSTM과 RNN이 했었다. 길면 죽어!
Transformer - 길어도 상관없다. 행렬의 크기만 하드웨어가 버티면 된다! 

attention을 통해 내가 제일 중요하게 볼 정보의 가중치를 크게 할 수 있다. - 주어진 정보에 대한 상관 관계가 나온다. 

Multi-head attention - 엄청 큰 행렬을 적당히 잘라서 feature를 각각뽑는다.

GAN - 지금도 계속 발전 중 => Deepfake도 이걸 사용 중