공대생 도전 일지

희소 벡터의 문제를 해결! 기본적인 분포 가설이다. CBOW - 주변 단어를 보고 학습 단어를 배우겠다. skip -gram - 중심 단어를 보고 주변 단어를 배우겠다. 토큰화를 잘 하기 위해 강아지가 -> 강아지 학습데이터도 늘리고, 관계도 만들 수 있다. 딥러닝이 아니라 하나의 앝은 레이어를 가진 머신러닝이라고 볼 수 있다. 단순한 원 핫 벡터를 사용한다. 인풋 레이어에서 프로젝션 레이어로 어떻게 메핑할까가 중요하다. 여기선 강아지를 보고 작고, 귀여운, 문, 앞에가 나와야 한다. 학습기회가 많아짐으로써 조정, 오차 잡는 것을 따라잡을 수 없다. 중의성, 모호성을 많이 녹여내진 못했다. 학습데이터에 없다면 학습하기 어렵다. 새로운 단어가 생기면 재 학습해야 한다. 빈도가 적으면 단어를 확실하게 학습하..

임베딩을 하는 과정도 결국 인코딩의 하나긴 하네요 강아지에 1이 왜 두갠지 모르겠지만 하나만 1 이어야 할 텐데... 모델은 그 많은 사전 중에 하나를 찾아야 하기 때문에 효율이 너무 감소 단어의 중의성, 모호성 등 어렵게 만드는 요소들을 표현하지 못한다. 여기선 5차원으로 표현했네요 여기에 중의성과 모호성도 포함되어 있습니다. 일반화 - 모호성과 중의성을 포함한다. 행렬을 축소하는 곳에서 많이 사용되는 방식이다. 학습되기 전에는 랜덤으로 선택하긴 하지만 학습하면서 점차 위치를 잡게 된다. 임베딩 = 단어 길이 * 내가 원하는 차원 개수 20개가 안되면 패딩을 채워 넣는다.

BERT 모델의 임베딩 간 유사도 측정 Introduction Chapter 3. 컴퓨터는 자연어를 어떻게 이해하는가 강의의 BERT 모델의 임베딩 간 유사도 측정 실습 강의입니다. 강의에서 배웠던 여러 가설 기반 임베딩을 직접 구축해보고, 구축한 임베딩을 활용하여 문장 간 유사도를 계산합니다. 추가로, 구축 방법 별 유사도 경향을 분석하여 임베딩에 대한 이해도를 높입니다. 1. 문서 집합 구축 테스트할 다양한 문장(문서)들에 대한 문서 집합을 구축합니다. 자연어의 특성인 유사성과 모호성을 잘 설명할 수 있도록 문장 예시들을 구성합니다. 의미가 유사한 문장 간 유사도 계산 (조사 생략): (sen_1, sen_2) 의미가 유사한 문장 간 유사도 계산 (순서 변경): (sen_1, sen_3) 문장 내 단..

1 주차 - 1 CHAT GPT는 LLM이며 Generative Pre-trained Transformer이다. Query기반으로 텍스트 응답을 형성한다. 트렌스포머 디코더 모델 기반이다. 트렌스포머 Transformer는 글자를 번역한다는 의미다. Masked Multi-Head Self Attention Masked Multi-Head Self Attention은 트랜스포머 모델에서 사용되는 기술 중 하나로, 특히 디코더 부분에서 중요한 역할을 합니다. 이 기법은 입력 시퀀스 내의 각 단어가 자신보다 뒤에 오는 단어들에 대한 정보를 '보지 못하도록' 마스킹 처리하는 과정을 포함합니다. 이를 통해 모델이 미래의 단어를 예측하는 과정에서 정보 누설을 방지합니다. Multi-Head Self Attenti..

뭔가 이 것만 가지고는 강화학습의 필요 이유를 확실하게 알기 어렵다. 둘다 OK이다. 즉 지도 학습은 정답이 있는 상태에서 학습하는 것이고, 강화 학습은 내가 경험을 통해 스스로 학습하는 것이다. 음 그럼 이게 RNN과 차이가 뭐지...? 순차적 의사결정 문제해결 방식과 순환 신경망(RNN)의 주요 차이점은 그들이 해결하려는 문제의 유형과 사용되는 접근 방식에 있습니다. 순차적 의사결정 문제해결 방식: 순차적 의사결정 문제는 강화학습(RL)과 같은 학습 알고리즘에서 자주 볼 수 있으며, 에이전트가 환경과 상호 작용하면서 최적의 의사결정 전략을 학습하는 과정입니다. 이러한 접근 방식에서는, 에이전트는 현재 상태에서 어떤 행동을 취할 때 받게 되는 보상을 최대화하기 위해 행동을 선택합니다. 목표는 최적의 정..

아래 문장의 빈칸에 들어갈 가장 적절한 단어를 고르시오. “선형 회귀는 주어진 데이터 𝑥에 대한 예측 함수 𝑦=ℎ(𝑥)가 (________)이며, 데이터에 예측 함수를 적합시키는 (________) 학습 알고리즘이다.” 하나를 선택하세요. 직선, 지도 직선, 비지도 곡선, 지도 곡선, 비지도 선형이므로 직선이고, 라벨이 붙어있는 즉 정답이 있는 지도학습입니당. 선형회귀는 예측함수가 y = w0 + w1 x의 형식이므로, 함수의 모양이 "직선" 이며, 선형회귀에서 사용하는 학습 데이터는 (입력,출력)의 형식으로 되어 있으므로 "지도학습" 알고리즘입니다. 정답 : 직선, 지도 비용 함수에 관한 다음 설명 중에서 올바른 것을 모두 고르시오. 하나 이상을 선택하세요. 1. 비용 함수는 회귀 모델의 성능을 계산하..

다음 중에서 지도 학습 알고리즘을 가장 적절하게 사용할 수 있는 응용 예는 무엇인가? 하나를 선택하세요. 1. 어떤 소비자가 구매한 물품에 대한 기록을 이용하여, 그 소비자가 함께 구매할 가능성이 높은 물품들에 대한 패턴을 발견하고자 함 2. 어느 회사의 최근 5년간 주식 가격 데이터를 이용하여 내년 특정한 시기에 그 주식의 가격이 얼마가 될지 예측하고자 함 정 답 피드백 지도 학습이란 정답이 주어진 학습데이터를 이용하여 컴퓨터가 주어진 입력에 대한 올바른 결과를 예측하도록 학습하는 과정입니다. 과거 데이터를 학습하여 미래의 값을 예측하는 문제는 지도 학습 알고리즘을 효과적으로 사용할 수 있는 응용문제 중 하나 입니다. 정답 : 어느 회사의 최근 5년간 주식 가격 데이터를 이용하여 내년 특정한 시기에 그..

이제 파라미터를 결정해보자 두 번째 학습 시작 인풋이 여러개라면,,,? Multivariate Linear Regression

경사 하강법 - 단계적으로 최솟값에 다가가기 위해 기울기 미분값을 빼는 방식으로 업데이트 Learning Rate! 너무 작으면 학습하는데 너무 오래걸린다. 너무 크면 오버슈팅이 발생하여 발산할 수 있다. local optimum에 도달하면 도함수 값이 0이 되며 업데이트가 멈추게 된다.

경사 하강법! 최솟값에 도달할 때까지 진행하게 된다. 이와 같이 최솟값을 구하고 있다. 경사 하강법 = Gradient Descent Algorithm 코드로 바꾸기 위해 수도 코드로 작성해보자 Learning rate == 학습률 - 적당한 값이 필요하다. := 업데이트 기호이다! 전역 최소 - 제일 작은 값 국소 최소 - 주변에서 작은 값 두 경우 모두 전역 최솟값으로 도달하지 못하였고, 초기 값에 의해 영향받는 다는 것을 알 수 있다. 이건 optimizer를 통해 조금 극복할 수 있다. 이상하게 업데이트 되는 경우가 생길 수 있다.