공대생 도전 일지

import pandas as pd from google.colab import drive drive.mount('/content/drive') data = pd.read_csv('/content/drive/MyDrive/Colab Notebooks/titanic.csv') ###로지스틱 회귀 모델 data = data.drop(['Name','Ticket'],axis=1) # 이름과 티켓 값은 생존과 관련 없기 때문이다. data = pd.get_dummies(data,columns=['Sex','Embarked'],drop_first = True)# 데이터 세분화 하면서 데이터 갯수 줄이기 (남자 여자에서 하나 지우고, 3개중에 하나 지우기) data.head() data.corr() # 데이터 간의..

print("세종대학교") def year\_age50(x): return 2023 + 50 - x import numpy as np x = np.arange(3,101,3) sum=0 for i in x: sum=sum + i print(sum) import numpy as np x= np.array(\[\[1,2,3,4,5\],\[6,7,8,9,10\]\],int) x x\[:,1::2\]

2024.04.11 - [인공지능/공부] - transformer, attention 정리 2 transformer, attention 정리 2 seq2seq - RNN기반 모델 = vanishing gradient problem, 고정된 벡터에 모든 정보 압축하다 보니 정보 손실 발생 이 구조는 입력 문장이 길면 품질이 떨어지게 된다! -> attention 등장 attention value - 단어가 얼마 yoonschallenge.tistory.com 여기 이어서 계속 되는 자료입니다. 자연어 처리에서 순서가 중요하다는 것을 알기 때문에 순서를 집어 넣어준다! 위치정보가 반영된다! 근데 positional encoding을 하면 I가 다른 단어의 embedding과 동일하게 변하는 경우도 생기지 않..

seq2seq - RNN기반 모델 = vanishing gradient problem, 고정된 벡터에 모든 정보 압축하다 보니 정보 손실 발생 이 구조는 입력 문장이 길면 품질이 떨어지게 된다! -> attention 등장 attention value - 단어가 얼마나 중요하냐 query - 입력 key - 모든 말 뭉치들 저거 각각 내적하면 유사도가 나온다. 스코어 = 유사도 - 유사하면 가중치를 크게 주겠다. 스칼라 점수가 튀어나온다. == 어텐션 스코어 합을 1로 만들어 주는 과정이다. 단어 각각을 어느정도 볼 것이냐 여기서 h1은 인코더의 hidden state이다. 임베딩 차원 만큼의 결과가 나온다. 가중치를 곱하여 입력 차원을 맞춰준다. attention의 등장 BUT RNN을 기반으로 사용한..

attention이 명확하게 정리되지 않아서 일단 다양하게 영상을 보고 정리를 시도해 보려고 합니다... https://youtu.be/6s69XY025MU?si=3vgHGAPVJINkCOl7 이번에도 시작은 이 영상 입니다.. 텐서 기본정보 1. 정보를 나타나는 텐서는 가중지 Weight를 통과해도 이 전의 정보를 가지고 있다. 2. Weight(양수이며 더하면 1)를 곱한 후 더하면 Weight가 큰 곳의 정보를 더 가지고 있다. 3. 내적은 비슷한 정보끼리 하면 커지고, 상관 없는 정보라면 작아진다. -> 내적 : 정보의 비슷한 정도 Query - 정보를 요청한다. 검색어. 계정 정보. key - 서로 다른 정보 몇개. 사이트들 Value Query는 Weight q에 통과시키고, key는 Weig..

1. 다음 문제 중 올바르지 않는 것을 고르시오. GPT의 장점이 아닌것은? 하나를 선택하세요. 1.자연스러운 텍스트 생성 2.문맥 파악의 다양성 3.대화형 응답 능력 4.빠른 프로토타이핑 음 4번...? 빠르진 않은거 같은데 2번 이었네요...? LLM이라서 엄청 느릴 줄 알았는데 GPT(Generative Pre-trained Transformer)의 주요 장점 중 하나는 자연스러운 텍스트 생성, 문맥 파악의 다양성, 대화형 응답 능력입니다. 이 모델은 다양한 자연어 처리 작업에서 뛰어난 성능을 보이며, 특히 대규모 데이터셋을 바탕으로 사전 학습된 후 특정 태스크에 대해 미세 조정될 수 있기 때문에, 자연스러운 언어 생성, 문맥에 기반한 이해, 대화 응답 등에서 강력한 성능을 발휘합니다. 그러나 "빠..

학습을 어떤 형식으로 하느냐! GPT의 등장으로 휴먼 피드백 러닝의 적용이 시작되었다. 사람이 model의 출력이 정확한지 판단하는 것! 리워드를 올리기 위해 행동하는 강화학습! 사람의 피드백이 편향을 가지지 않도록 학습해야된다. LLM- 완성이라는 것이 없다. -> 계속 학습하면서 발전해나간다. - 돈이 한도 없이 들어간다 이 것은 논문으로 작성할 수 있는 것이 아니라 시도, 경험을 통해 노하우를 얻는 것이다.

interactive GPT model = Chat GPT vision에서는 컴퓨팅 파워가 더 강력해야 한다. 실시간 상호작용과 사용자 중심! 보통 supervised learning에서는 보상이 없다. 강화학습을 사용하는 것이다. 파인튜닝에는 강화학습과 지도학습이 둘 다 들어있다! PPO - 강화학습 쪽 기본 개념 현재 실시간 정보는 아직 해결하지 못한 문제이다. 심심이와 같은 모델이다.

전이학습의 한 형태로 볼 수 있다!! GPT가 나오기 전에도 사용되던 기술이다. 다른 목적에 사용하려고 새로운 데이터를 주입시키는 것이다. 감성 분석 - 트위터 => 텍스터에 긍, 부정, 다양한 감정이 붙는다. or 감성 분석을 통한 추천 ㅋ 개발 시간도 빨라진다. 언어 모델을 사용하자는 기업은 늘어난다. -> FINE Tuning을 통해 적은 리소스 사용 overfitting - 데이터는 적은데 일반적인 성능을 높이려고 하면 잘 일어난다. 적합한 모델을 선택하는 능력도 필요하다. - 관련있는 데이터로 학습된 모델을 선택해야한다.

GPT 와 ELMo! 텍스트 생성, 번역, 요약 등 다양한 역할이 가능하다. Unsupervised learning -> 코퍼스를 정제는 하되 라벨링을 하진 않는다. fine turning -> 물어본 것에 대한 정해진 답을 정해준다. BERT - incorder에 집중 Decorder 만 있다. - 학습시킬 땐 인코더가 있다. -> 학습 완료 후 디코더만 사용한다. 기본적 구조는 Transformer, 대용량 feedforward이다. GPT 모델 구조는 어떻게 되어있나? 비지니스 모델에서는 출력 표현에 노하우가 많이 들어간다. 자연스러운 텍스트 생성 - fine turning을 잘 한다. interactive - 대화형 응답 능력 : 각자에게 특화되어 대화를 한다. transfer learning을 ..