생성형 인공지능 1주차 1 - 생성형 인공지능이란? CHAT GPT란?

생성형 인공지능 = Generative AI

LLM이전에는 그렇게 모델이 크지 않았다. LLM이후로 서비스의 폭이 늘어났다.

GPT = Generative Pre-trained Transformer

GPT 전 모델은 BERT (Bidirectional Encorder Representations from Transformers)

사용자 query(텍스트)를 기반으로 텍스트 응답을 형성

지금의 GPT3.5는 Query에 따라 사전적인 방식으로 대답을 한다.

GPT 기능

인코더 - 외부의 글자를 코딩한다. 학습을 할 때만 사용한다.

디코더 - 인코더 된 정보를 통해 생성한다.

GPT Architecture

Masked MSA- 가린뒤 맞추는 방식. 

Chat GPT는 GPT3.5를 기본으로 한다.

GPT는 어떻게 학습할까?

파인 튜닝이 중요하다! 미세조정을 통해 많은 상업적인 결과의 차이도 보고 있다.

CHAT GPT 한계

이 한계를 극복하기 위해선 최선의 데이터, 지속적인 파인 튜닝이 관건이다. 즉 비용이 어마무시하게 들어간다.

학습 정