공대생 도전 일지

import torch import torch.nn as nn # Comparison of number of parameters, LSTM vs GRU lstm_layer = nn.LSTM(3, 5) #3 is input size,which is input number's embedding vector;5 is hidden_size,which shows network's ability and memory. gru_layer = nn.GRU(3, 5) print(sum(p.numel() for p in lstm_layer.parameters())) print(sum(p.numel() for p in gru_layer.parameters())) 200 150 # complete GRU network def ..

문제점이라면 정보 소실이랑 양이 너무 많아지면 엄청난 메모리 필요한 것? 슈미드 밀러 - LSTM 장단기 메모리 조경현 - GRU 마지막엔 결국 Transformer 문장이 길어지면서 학습할 때 error가 손실하게 된다. 긴 문장이 들어오면 학습이 안되거나 Gradient가 폭팔해버린다. clip = 집는다. Gradient의 최소, 최대 한계를 정해놓는다. GRU : LSTM의 복잡함을 줄였다. 3가지 게이트로 이루어져 있다. forget gate input gate output gate 히든 스테이트가 셀 스테이트 역할을 한다. 리셋 게이트 : 그냥 이전과 지금 값 가중치 해서 더하기 포겟 게이트 : 리셋이랑 비슷하다. 인풋 게이트 : 1 - 포 이전 페이지를 그대로 계산을 구현한 것

언어 처리 신경망 - chatGPT의 기본적인 신경망 ANN은 기본적인 딥러닝 구조이나 연결적인 요소가 없어서 순서에 대한 정보가 사라지게 된다. 시계열 데이터 - 문장, 언어과 같은 순서가 있는 데이터 토큰 - 말에선 word, 단어 단위라고 볼 수 있다.

여기서부턴 사람이 개입하지 않는다. 인공신경망 - 시냅스를 본따서 만든 구조 더 좋은 특징이 있을 수 있으나 우리가 생각하지 못할 수 있다. 컴퓨터가 뽑자! 입력데이터의 가공 없이 바로 들어간다. mnist autoencoder - 숫자를 판별하는게 주 임무 입출력이 비슷하게 나오도록 하는 것이 목적이다. why? 손글씨이기 때문에 모양이 다 다르다. 학습이 끝나면 내가 원하는 출력이 되도록 업데이트가 된다. 입력과 출력의 오차를 측정하면 판단이 가능하다. 3이 입력이 들어오면 이상한 출력이 되게 한다. 딥러닝 - 고차원 특성을 스스로 추출하여 학습 표현학습의 특징을 그대로 가지고 있다. 딥러닝 - 구조 자체가 깊은 심층 신경망이다. 다층이 되면서 다양하게 표현할 수 있게 된다. nonlinear 표현 ..

규칙 기반 시스템 - 규칙 세트를 이용해 문제 해결 -> 조건부 문장으로 되어있다. 아서 새무엘 = 머신러닝 정의 컴퓨터 - 복잡하고 많은 작업 빠르게 처리 가능 BUT 일일히 지정해주기 어렵다 -> 프로그래밍 데이터를 통해 규칙을 컴퓨터가 직접 찾자 -> 머신러닝! 머신러닝 - 경험 == 데이터로 규칙을 찾기 모든 경우를 모두 설정해서 인공지능이 아닌 것으로 오해할 수 있다. 지식 베이스 - 사실과 규칙을 나타낸다. 규칙으로 구성되어 있다. 전문가의 지식을 반영하기 위해 굉장한 복잡성과, 큰 구조를 기본적으로 가지고 있다. 이러한 지식을 바탕으로 하기 때문에 의사의 지식을 컴퓨터로 구성할 수 있게 된다. 머신러닝 지도학습을 하기 위해 학습 데이터로 많은 기사를 수집하고, 정답도 가지고 있는다. 이미 학..

좁은 인공지능- 자율주행 자동차, 시리 등 합리적으로 생각하고 행동하는 시스템이며, 한가지 또는 특정한 영역에 국한된 인공지능이다. 좁은 인공지능 = 약한 인공지능 일반 인공지능 = 인간과 같은 인공지능 슈퍼 인공지능 = 인간보다 뛰어나다. 아직 구현되진 않았다. 인공지능 기술의 핵심은 ' 삶에 도움을 주고, 받을 수 있을까?'이다. 인공지능, 머신러닝, 딥러닝의 관계 AI/ ML/ DL 분류가 목적이라기 보단 개념을 좀 더 확실하게 정립하는 것이다. 새로운 특징을 파악하는덴 분석 방법 2가 더 효율적이다. 학습 방법 1로는 이 경우에 구분할 수 없다. '머신러닝은 딥 러닝이다' 라는 말은 포함관계가 반대로 되어있다. 여기선 마케팅을 위한 인공지능 세탁기로 말했지 딥러닝 세탁기나 머신러닝 세탁기가 좀 더..

행렬 합 - 동일 크기!(파이썬 넘파이에선 달라도 해주는 경우가 있다.) 행렬 * 스칼라 = 그냥 곱해주면 된다! 중간에 오타가 있네요 (3 x 2) ( 2 x 1) = (3 x 1)입니다. 행렬 곱은 보통 교환이 불가능하거나 결과가 다르다. Identity Matrix - 단위 행렬 단위행렬을 곱해주면 항상 본인이 나온다! 역행렬 - Matrix Inverse - 항상 존재하는 것은 아니다.

백터 - 숫자들의 열 메틀랩에서 1 인덱스를 사용하고 대부분은 0 인덱스를 사용한다. 내적 - 결과가 스칼라 값이다. vector Norm - 벡터의 크기 Matrix Transpose - 행렬 전치 대칭행렬 = Symmetric Matrix = 행렬이 대칭을 이룬다. DET = 행렬의 크기 ?

지도학습에서 분류할 때 라벨링이 된 데이터가 필요하다. 그리고 올바른 답을 찾는 일을 한다. 비지도 학습 데이터의 구조 - 데이터가 어떤 유사성을 가지는지, 몇개의 그룹이 있는지 데이터에 대한 라벨이 없으므로 올바른 정답이 주어지지 않는다. -> 데이터 내에 유사성을 찾아낸다. 지도와 비지도 구분 비지도 학습의 예 - 유튜브 친밀도 또한 클러스터링을 통해 알 수 있다. 섞여진 신호에서 내가 원하는 신호만 골라내는 것 각자 마이크는 그 사람의 목소리만 들어간다.

가장 일반적인 형태의 학습이다. Regression 여기서 115마력의 차량의 값은? -> 데이터를 잘 나타낼 수 있는 직선으로 나타낼 수 있다. 그 직선에서 115지점에서의 가격을 구할 수 있다. 2차원 선형 회귀를 통한 가격 예측하기 선형회귀 분석 - 라벨링이 되어있는 데이터를 통해 우리가 예측하는 수를 찾는 방식 우리는 마력에 따른 가격을 알기 때문에 라벨링이 있는 데이터를 가지고 있는 것으로 지도학습이다. 여기서 올바른 답 - 자동차 가격 Classification 이진 분류(0,1), 다중 분류(0,1,2,,,,,,,n) 이 데이터를 보고 37.9도의 체온이 양성일지 음성일지 판단할 수 있다. 주어진 데이터를 이용하여 예측함수를 찾아내고, 그 예측함를 이용하여 주어진 입력에 대한 결과를 예측해보..