공대생 도전 일지

영상처리를 위해 C언어를 사용해야 하는데 복습 한번 쓱 합시다. 1 byte = 8 bit 2^8 = 256 이라고 생각하면 편합니당 256*256 = 65536 malloc과 calloc이 있죠 free를 생활화 합시다! 우린 영상처리를 할꺼니까 이진 파이링 되겠네요 file 포인터 사용하는거 잘 봐야합니당 scanf에는 주소 기호 사용하는 것도 잊지 말고여 상대 경로와 절대 경로 잘 지켜야 합니다. 파일에서 데이터를 가지고 온다고 생각하면 편합니다. 파일에 작성한다고 생각하면 됩니당 그럼 실습 하나를 해봐야겠죠 #define _CRT_SECURE_NO_WARNINGS #include #include #include int main() { BITMAPFILEHEADER bmpFile; BITMAPINF..

1 주차 - 1 CHAT GPT는 LLM이며 Generative Pre-trained Transformer이다. Query기반으로 텍스트 응답을 형성한다. 트렌스포머 디코더 모델 기반이다. 트렌스포머 Transformer는 글자를 번역한다는 의미다. Masked Multi-Head Self Attention Masked Multi-Head Self Attention은 트랜스포머 모델에서 사용되는 기술 중 하나로, 특히 디코더 부분에서 중요한 역할을 합니다. 이 기법은 입력 시퀀스 내의 각 단어가 자신보다 뒤에 오는 단어들에 대한 정보를 '보지 못하도록' 마스킹 처리하는 과정을 포함합니다. 이를 통해 모델이 미래의 단어를 예측하는 과정에서 정보 누설을 방지합니다. Multi-Head Self Attenti..

뭔가 이 것만 가지고는 강화학습의 필요 이유를 확실하게 알기 어렵다. 둘다 OK이다. 즉 지도 학습은 정답이 있는 상태에서 학습하는 것이고, 강화 학습은 내가 경험을 통해 스스로 학습하는 것이다. 음 그럼 이게 RNN과 차이가 뭐지...? 순차적 의사결정 문제해결 방식과 순환 신경망(RNN)의 주요 차이점은 그들이 해결하려는 문제의 유형과 사용되는 접근 방식에 있습니다. 순차적 의사결정 문제해결 방식: 순차적 의사결정 문제는 강화학습(RL)과 같은 학습 알고리즘에서 자주 볼 수 있으며, 에이전트가 환경과 상호 작용하면서 최적의 의사결정 전략을 학습하는 과정입니다. 이러한 접근 방식에서는, 에이전트는 현재 상태에서 어떤 행동을 취할 때 받게 되는 보상을 최대화하기 위해 행동을 선택합니다. 목표는 최적의 정..

아래 문장의 빈칸에 들어갈 가장 적절한 단어를 고르시오. “선형 회귀는 주어진 데이터 𝑥에 대한 예측 함수 𝑦=ℎ(𝑥)가 (________)이며, 데이터에 예측 함수를 적합시키는 (________) 학습 알고리즘이다.” 하나를 선택하세요. 직선, 지도 직선, 비지도 곡선, 지도 곡선, 비지도 선형이므로 직선이고, 라벨이 붙어있는 즉 정답이 있는 지도학습입니당. 선형회귀는 예측함수가 y = w0 + w1 x의 형식이므로, 함수의 모양이 "직선" 이며, 선형회귀에서 사용하는 학습 데이터는 (입력,출력)의 형식으로 되어 있으므로 "지도학습" 알고리즘입니다. 정답 : 직선, 지도 비용 함수에 관한 다음 설명 중에서 올바른 것을 모두 고르시오. 하나 이상을 선택하세요. 1. 비용 함수는 회귀 모델의 성능을 계산하..

다음 중에서 지도 학습 알고리즘을 가장 적절하게 사용할 수 있는 응용 예는 무엇인가? 하나를 선택하세요. 1. 어떤 소비자가 구매한 물품에 대한 기록을 이용하여, 그 소비자가 함께 구매할 가능성이 높은 물품들에 대한 패턴을 발견하고자 함 2. 어느 회사의 최근 5년간 주식 가격 데이터를 이용하여 내년 특정한 시기에 그 주식의 가격이 얼마가 될지 예측하고자 함 정 답 피드백 지도 학습이란 정답이 주어진 학습데이터를 이용하여 컴퓨터가 주어진 입력에 대한 올바른 결과를 예측하도록 학습하는 과정입니다. 과거 데이터를 학습하여 미래의 값을 예측하는 문제는 지도 학습 알고리즘을 효과적으로 사용할 수 있는 응용문제 중 하나 입니다. 정답 : 어느 회사의 최근 5년간 주식 가격 데이터를 이용하여 내년 특정한 시기에 그..

이제 파라미터를 결정해보자 두 번째 학습 시작 인풋이 여러개라면,,,? Multivariate Linear Regression

경사 하강법 - 단계적으로 최솟값에 다가가기 위해 기울기 미분값을 빼는 방식으로 업데이트 Learning Rate! 너무 작으면 학습하는데 너무 오래걸린다. 너무 크면 오버슈팅이 발생하여 발산할 수 있다. local optimum에 도달하면 도함수 값이 0이 되며 업데이트가 멈추게 된다.

경사 하강법! 최솟값에 도달할 때까지 진행하게 된다. 이와 같이 최솟값을 구하고 있다. 경사 하강법 = Gradient Descent Algorithm 코드로 바꾸기 위해 수도 코드로 작성해보자 Learning rate == 학습률 - 적당한 값이 필요하다. := 업데이트 기호이다! 전역 최소 - 제일 작은 값 국소 최소 - 주변에서 작은 값 두 경우 모두 전역 최솟값으로 도달하지 못하였고, 초기 값에 의해 영향받는 다는 것을 알 수 있다. 이건 optimizer를 통해 조금 극복할 수 있다. 이상하게 업데이트 되는 경우가 생길 수 있다.

이전 시간의 w를 어떻게 구할까에서 나온 것이 비용함수 즉 오차를 구하는 함수이다. 오차의 양수, 음수 차이를 없애기 위해 제곱한다. 비용함수 최적화는 즉 이 J를 최소화 시키기 위해 움직인다. 비용함수를 쉽게 만들기 위해 w0를 없앤다. m = 3이다. 비용 함수값이 최소화되는 파라미터 값을 찾는 것이 목적이다. -> 미분을 해서 최소값이 되는 곳으로 간다! 파라미터가 2개라면 3차원이 나오게 된다. 이것을 효과적으로 표현하기 위해 등고선으로 표현하기도 한다. 중심점에 가까울 수록 좋은 예측함수라고 볼 수 있다. 점점 중심점으로 보내게 된다. 이정도면 오차도 상당히 적게 나올 것이다. 같은 등고선 위치에 있다면 오차는 같으나 파라미터가 달라서 모양이 다르다.

광고비 지출에 대한 매출액 증가를 예측할 수 있었다. -> 선형 회귀 모델 linear regression model 엔진의 파워로 자동차 가격을 예측하는 것도 선형 회귀의 대표적인 예시이다. 데이터를 모아보면 엔진 파워와 가격의 상관 관계를 알 수 있다. 그래서 없는 데이터의 값을 예측 할 수 있다. -> 선형 회귀 분석을 활용 115마력 엔진의 파워를 가진 자동차는 약 2300불을 가질 것 이라고 예측할 수 있다. 여기선 입력변수가 하나라서 Univariate이다. 205개의 학습 데이터를 가지고 있다. 이렇게 표현하는 것으로 이전의 표를 바꿔주면 예측함수를 잘 결정해야 한다. w는 오차를 구해 오차를 적게 하는 방향으로 변한다.