공대생 도전 일지

이제 파라미터를 결정해보자 두 번째 학습 시작 인풋이 여러개라면,,,? Multivariate Linear Regression

경사 하강법 - 단계적으로 최솟값에 다가가기 위해 기울기 미분값을 빼는 방식으로 업데이트 Learning Rate! 너무 작으면 학습하는데 너무 오래걸린다. 너무 크면 오버슈팅이 발생하여 발산할 수 있다. local optimum에 도달하면 도함수 값이 0이 되며 업데이트가 멈추게 된다.

경사 하강법! 최솟값에 도달할 때까지 진행하게 된다. 이와 같이 최솟값을 구하고 있다. 경사 하강법 = Gradient Descent Algorithm 코드로 바꾸기 위해 수도 코드로 작성해보자 Learning rate == 학습률 - 적당한 값이 필요하다. := 업데이트 기호이다! 전역 최소 - 제일 작은 값 국소 최소 - 주변에서 작은 값 두 경우 모두 전역 최솟값으로 도달하지 못하였고, 초기 값에 의해 영향받는 다는 것을 알 수 있다. 이건 optimizer를 통해 조금 극복할 수 있다. 이상하게 업데이트 되는 경우가 생길 수 있다.

이전 시간의 w를 어떻게 구할까에서 나온 것이 비용함수 즉 오차를 구하는 함수이다. 오차의 양수, 음수 차이를 없애기 위해 제곱한다. 비용함수 최적화는 즉 이 J를 최소화 시키기 위해 움직인다. 비용함수를 쉽게 만들기 위해 w0를 없앤다. m = 3이다. 비용 함수값이 최소화되는 파라미터 값을 찾는 것이 목적이다. -> 미분을 해서 최소값이 되는 곳으로 간다! 파라미터가 2개라면 3차원이 나오게 된다. 이것을 효과적으로 표현하기 위해 등고선으로 표현하기도 한다. 중심점에 가까울 수록 좋은 예측함수라고 볼 수 있다. 점점 중심점으로 보내게 된다. 이정도면 오차도 상당히 적게 나올 것이다. 같은 등고선 위치에 있다면 오차는 같으나 파라미터가 달라서 모양이 다르다.

광고비 지출에 대한 매출액 증가를 예측할 수 있었다. -> 선형 회귀 모델 linear regression model 엔진의 파워로 자동차 가격을 예측하는 것도 선형 회귀의 대표적인 예시이다. 데이터를 모아보면 엔진 파워와 가격의 상관 관계를 알 수 있다. 그래서 없는 데이터의 값을 예측 할 수 있다. -> 선형 회귀 분석을 활용 115마력 엔진의 파워를 가진 자동차는 약 2300불을 가질 것 이라고 예측할 수 있다. 여기선 입력변수가 하나라서 Univariate이다. 205개의 학습 데이터를 가지고 있다. 이렇게 표현하는 것으로 이전의 표를 바꿔주면 예측함수를 잘 결정해야 한다. w는 오차를 구해 오차를 적게 하는 방향으로 변한다.

다음 문장의 빈칸에 들어갈 가장 적절한 단어를 고르시오. “ 순환 신경망(Recurrent Neural Network) 은 _____또는 _______를 위해 설계된 신경망 모델의 한 유형” 하나를 선택하세요. 1. 순차적, 시계열 2. 역차적, 도르레열 3. 오차적, 열감지열 4. 배차적, 전자열 딱 떠오르는 것이 없어서 소거형으로 하려고 했지만 너무 1번이었고, 나머지는 .... 다음 문제 중 올바르지 않는 것을 고르시오. 장-단기 메모리(LSTM)의 세가지 유형의 게이트가 아닌것은? 하나를 선택하세요. 1. 쿠다-게이트 2. 포켓-게이트 3. 입력-게이트 4. 출력-게이트 쿠다는 엔디비아 GPU사용할 때 쓰는 것 아닌가요,,,,?여기서 포켓 게이트가 망각 게이트네요3.다음 문장의 빈칸에 들어갈 가장..

다음 문장의 빈칸에 들어갈 가장 적절한 단어를 고르시오. 1. “ ChatGPT는 OpenAI에서 개발한 초거대 언어모델 _____입니다.” 하나를 선택하세요. 1. CNN 2. DALL-E 3. Large Language Model(LLM)정답 4. GAN chat GPT는 거대 언어 모델이죠 다음 중 틀린것을 고르시오. 생성형 인공지능 출력의 종류가 아닌것은? 하나를 선택하세요. 1. 이미지생성 2. 아바타생성 정답 3. 텍스트생성 4. 비디오생성 아바타 생성은 일단 생성형 인공지능의 출력 종류에 들어가지 않습니다. 이미지 생성을 통해 3D 생성으로 하면 생성은 할 수 있겠네여 2. 다음 중 틀린것을 고르시오. 인지 인공지능의 구성요소가 아닌것은? 하나를 선택하세요. 1. 지식표현 2. 학습 3. 자..

사전 처리를 통한 1대1 매칭, 문장의 시작과 끝 만들기

인풋에 그냥 들어가는 것이 아니라 다듬어서 들어가자 Qurey, key, value를 사용해보자 정규화 : 0 ~ 1 사이의 값으로 채우기

인코더 디코더는 번역이나 생성형 인공지능에서 많이 사용되고 있다. 문장이 길어지면 결국 문제가 생긴다. 인코더에선 양방향 RNN을 사용하고, 디코더에선 한방향 RNN을 사용한다. 그 중간에 Attenton이 있다. context vector 가운데 잘 나열이 돼야 잘 된 것이다.