공대생 도전 일지

이전 시간의 w를 어떻게 구할까에서 나온 것이 비용함수 즉 오차를 구하는 함수이다. 오차의 양수, 음수 차이를 없애기 위해 제곱한다. 비용함수 최적화는 즉 이 J를 최소화 시키기 위해 움직인다. 비용함수를 쉽게 만들기 위해 w0를 없앤다. m = 3이다. 비용 함수값이 최소화되는 파라미터 값을 찾는 것이 목적이다. -> 미분을 해서 최소값이 되는 곳으로 간다! 파라미터가 2개라면 3차원이 나오게 된다. 이것을 효과적으로 표현하기 위해 등고선으로 표현하기도 한다. 중심점에 가까울 수록 좋은 예측함수라고 볼 수 있다. 점점 중심점으로 보내게 된다. 이정도면 오차도 상당히 적게 나올 것이다. 같은 등고선 위치에 있다면 오차는 같으나 파라미터가 달라서 모양이 다르다.

광고비 지출에 대한 매출액 증가를 예측할 수 있었다. -> 선형 회귀 모델 linear regression model 엔진의 파워로 자동차 가격을 예측하는 것도 선형 회귀의 대표적인 예시이다. 데이터를 모아보면 엔진 파워와 가격의 상관 관계를 알 수 있다. 그래서 없는 데이터의 값을 예측 할 수 있다. -> 선형 회귀 분석을 활용 115마력 엔진의 파워를 가진 자동차는 약 2300불을 가질 것 이라고 예측할 수 있다. 여기선 입력변수가 하나라서 Univariate이다. 205개의 학습 데이터를 가지고 있다. 이렇게 표현하는 것으로 이전의 표를 바꿔주면 예측함수를 잘 결정해야 한다. w는 오차를 구해 오차를 적게 하는 방향으로 변한다.

다음 문장의 빈칸에 들어갈 가장 적절한 단어를 고르시오. “ 순환 신경망(Recurrent Neural Network) 은 _____또는 _______를 위해 설계된 신경망 모델의 한 유형” 하나를 선택하세요. 1. 순차적, 시계열 2. 역차적, 도르레열 3. 오차적, 열감지열 4. 배차적, 전자열 딱 떠오르는 것이 없어서 소거형으로 하려고 했지만 너무 1번이었고, 나머지는 .... 다음 문제 중 올바르지 않는 것을 고르시오. 장-단기 메모리(LSTM)의 세가지 유형의 게이트가 아닌것은? 하나를 선택하세요. 1. 쿠다-게이트 2. 포켓-게이트 3. 입력-게이트 4. 출력-게이트 쿠다는 엔디비아 GPU사용할 때 쓰는 것 아닌가요,,,,?여기서 포켓 게이트가 망각 게이트네요3.다음 문장의 빈칸에 들어갈 가장..

다음 문장의 빈칸에 들어갈 가장 적절한 단어를 고르시오. 1. “ ChatGPT는 OpenAI에서 개발한 초거대 언어모델 _____입니다.” 하나를 선택하세요. 1. CNN 2. DALL-E 3. Large Language Model(LLM)정답 4. GAN chat GPT는 거대 언어 모델이죠 다음 중 틀린것을 고르시오. 생성형 인공지능 출력의 종류가 아닌것은? 하나를 선택하세요. 1. 이미지생성 2. 아바타생성 정답 3. 텍스트생성 4. 비디오생성 아바타 생성은 일단 생성형 인공지능의 출력 종류에 들어가지 않습니다. 이미지 생성을 통해 3D 생성으로 하면 생성은 할 수 있겠네여 2. 다음 중 틀린것을 고르시오. 인지 인공지능의 구성요소가 아닌것은? 하나를 선택하세요. 1. 지식표현 2. 학습 3. 자..

사전 처리를 통한 1대1 매칭, 문장의 시작과 끝 만들기

인풋에 그냥 들어가는 것이 아니라 다듬어서 들어가자 Qurey, key, value를 사용해보자 정규화 : 0 ~ 1 사이의 값으로 채우기

인코더 디코더는 번역이나 생성형 인공지능에서 많이 사용되고 있다. 문장이 길어지면 결국 문제가 생긴다. 인코더에선 양방향 RNN을 사용하고, 디코더에선 한방향 RNN을 사용한다. 그 중간에 Attenton이 있다. context vector 가운데 잘 나열이 돼야 잘 된 것이다.

import torch import torch.nn as nn # Comparison of number of parameters, LSTM vs GRU lstm_layer = nn.LSTM(3, 5) #3 is input size,which is input number's embedding vector;5 is hidden_size,which shows network's ability and memory. gru_layer = nn.GRU(3, 5) print(sum(p.numel() for p in lstm_layer.parameters())) print(sum(p.numel() for p in gru_layer.parameters())) 200 150 # complete GRU network def ..

문제점이라면 정보 소실이랑 양이 너무 많아지면 엄청난 메모리 필요한 것? 슈미드 밀러 - LSTM 장단기 메모리 조경현 - GRU 마지막엔 결국 Transformer 문장이 길어지면서 학습할 때 error가 손실하게 된다. 긴 문장이 들어오면 학습이 안되거나 Gradient가 폭팔해버린다. clip = 집는다. Gradient의 최소, 최대 한계를 정해놓는다. GRU : LSTM의 복잡함을 줄였다. 3가지 게이트로 이루어져 있다. forget gate input gate output gate 히든 스테이트가 셀 스테이트 역할을 한다. 리셋 게이트 : 그냥 이전과 지금 값 가중치 해서 더하기 포겟 게이트 : 리셋이랑 비슷하다. 인풋 게이트 : 1 - 포 이전 페이지를 그대로 계산을 구현한 것

언어 처리 신경망 - chatGPT의 기본적인 신경망 ANN은 기본적인 딥러닝 구조이나 연결적인 요소가 없어서 순서에 대한 정보가 사라지게 된다. 시계열 데이터 - 문장, 언어과 같은 순서가 있는 데이터 토큰 - 말에선 word, 단어 단위라고 볼 수 있다.