공대생 도전 일지

코로나 양성, 음성 -> 이진분류 = 데이터의 분류 결과가 2가지의 가능한 값으로만 나타나는 경우 ex) 불량품 검출, 스팸 메일 필터링 y = 0,1로 나타넨다. 다중 분류 선형회귀를 분류문제에 사용할 수 없을까? 여기까지만 보면 성공적으로 분류한 것 같다. 이상치가 있으면 데이터가 많이 이상하게 된다. Sensitive to outliers = 선형 회귀는 이상치에 민감하다. 그리고 결과도 0~1로 항상 고정되지 않는다. Sigmoid를 활용하면 0~1에 한정되게 된다. Sigmoid를 활용하므로 이 두 개는 같은 것이다. y=1이 되는 확률을 구하는 것이다! 0이 될 확률과 1이될 확률은 반비례이고 더하면 1이다.

K-NN - 최근접 이웃인가? 다수결의 원칙으로 판단하므로 k값은 보통 홀수이다. 경계선에서의 입력은 적절한 k값이 아니면 이상한 답을 출력한다. SVM - Support Vector Machine 이건 안써봤네요 아니네요 많이 써봤네요 ㅎㅎ... 여백이 최대화 하도록 선을 만든다. Outlier - 이상치 - 원하지 않는 이상한 값들 마진을 최대화 한다. outlier - 저기 뚝 떨어진 점, 데이터가 잘 못된 경우도 있다. 3개이상의 feature가 있으면 3차원으로 표현하면 된다. 직선으로 분류가 힘든 경우 결정트리 Decision Tree 알려주지 않은 정보를 알아서 판단한다. 노드 분할한 이유가 중요하다! 구체적인, 수치적인 분류 기준을 다르지 않지만 간단히만 본다. 그러니까 가장 큰 분류부터 ..

주어진 입력 == 데이터! 원하는 출력 == 레이블! 사람이 특징(feature)를 골라줘야된다. -> 이거 너무 귀찮아 보이니까 딥러닝 최고.... 최초의 사진이 들어왔을 때 무엇인지 알려주는게 목표였다. 지도학습 방법 분류 모델의 출력 == 이분법적인 선택(0,1, 사과 ...) != 값(132, 15.6...) 회귀 regression - 키에 따른 몸무게 예측, 내일 기온... 사람이 바로 결정하기 어려운 연관성이 있다 -> 머신러닝 사용 => 컴퓨터가 결정해준다. 분류 Classification - 유사한 특성을 가진 데이터끼리 묶어서 나눈다. 유사한 특징을 가진 데이터(옆모습, 뒷모습 등등) 분류 문제 - 컴퓨터가 잘 도와준다면 활용쳐가 많다. -> 컴퓨터가 많은 데이터에서의 패턴 인식을 잘한..

머신러닝 - 기계가 일일이 코드로 명시하지 않은 동작을 데이터로부터 학습하여 실행할 수 있도록 하는 알고리즘을 개발하는 연구분야 즉 머신러닝 != 규칙 기반 인공지능 과거의 경험으로부터 새로운 지식을 배우는 것과 유사하다. 컴퓨터 성능이 향상되며 인공지능도 업그레이드 되었다. 머신러닝 역사 사람 - 경험으로부터 학습한다 == 컴퓨터 - 데이터를 통한 학습 빅데이터를 활용하면 더 복잡한 문제를 풀수있는 컴퓨터를 만들 수 있다. 무인 자동차, 기계번역, 컴퓨터 비전 등 == 지능형 서비스 인공지능과 머신러닝 (경험 == 데이터) 규칙 기반 시스템은 AI이지만 ML은 아니다. 사람이 전부 규칙을 만들었다. Classical ML = 사람이 데이터에서 특징을 추출한다. -> 그 후 컴퓨터가 구분한다. Non-A..

TD를 구현해서 MDP랑 비교하는게 과제 입니당.. 일단 코드만 있고 수요일 수업 진행 후 마무리하기 import random import numpy as np class GridWorld(): def __init__(self): self.x=0 self.y=0 def step(self, a): if a == 0: self.move_left() elif a == 1: self.move_up() elif a == 2: self.move_right() elif a == 3: self.move_down() reward = -1 done = self.is_done() return (self.x, self.y), reward, done def move_right(self): self.y += 1 if self.y..

목표 - 다양한 분야에서 범용적으로 사용되는 Transformer의 작동 원리를 이해할 수 있다. 초기셀의 정보가 사라지는 것은 아직도 해결 X 이전셀의 계산이 끝나지 않으면 계속 기다려야 한다. 효율적인 모델 구조- 대규모 데이터에 대해 효율적으로 학습 가능해졌다. CNN은 거리를 뭉게기 때문에 어렵다. 순차적으로 들어오지 않기 때문에 순서 정보를 넣어주는 것이 필요하다. 위치마다 값이 다르다 -> 삼각함수 짝수 - sin 홀수 - cos 논문에서 d_model = 512 차원이다. 차원을 줄인다. 모든 단어에 대해 진행할 수 있다. RNN이 가진 병목을 가지는 것 처럼 보인다. 행렬을 통해 일괄로 처리한다. 역전파나 계속 진행되도 activation에 의해 0으로 줄어드는 것을 막아준다.

와이파이 불안정으로 이전 정보가 다 날라갔네여...ㅠ 일단 하는거 부터 하고 나중에 다시 작성하던가 할게요... 문맥 정보를 포함하는 것이 도움이 된다 ! 어떤 자연어 처리 방식에 따라 필요한 방식이 다르다. 여기서도 문맥 의미를 파악하는 것을 볼 수 있다. ELMO - 좀 더 많은 정보를 가지고 있다.

목표 - 초기 문장 생성 모델인 Seq2Seq의 작동 원리를 이해할 수 있다. 2014년에 등장한 모델이다. 가변적인 길이의 입출력이 필요했다. 같은 셀을 재귀적으로 사용하는 모델이다. 패딩토큰을 활용하여도 크게 개선하지 못했다. RNN기반의 고정 시퀀스를 사용하는 것을 개선하기 위해 나왔다. 가변적인 길이로 변환이 가능해졌다. 결국 이것도 Xn이 제일 쎄게 들어가긴 하겠네요 LSTM과 GRU가 그나마 Long Term를 해결해줬기 때문에 사용했다. eos가 나올때 까지 재귀적으로 반복한다. 입력은 단어가 아니라 임베딩 벡터이다!!! 오답간의 loss만 반영하고, 디코더 입력칸엔 정답 집어넣기! 인코더에 천개, 만개의 단어가 들어갈수록 정보 손실이 커진다. Transformer에 사용된다. 키 - 입력문..

강의목표 - 자연어 처리 작업 수행에 주로 사용되는 모델 구조들에 대해 간략히 알아보자 컴퓨터가 처리할 수 있게 한다 -> 임베딩 이전까지 단어가 주어졌을 때 다음에 올 단어의 확률 구하기 | = 조건부 확률 그럼 단어 스퀸스 자체의 확률은 엄청 작겠네 RNN 의 한계 해결 == Seq2Seq Seq2Seq도 RNN에서 벗어나지 않았다. == ELMo Attention의 등장 ! = Transformer

2024.03.20 - [인공지능/공부] - 자연어 처리 - 과제 1.1 자연어 처리 - 과제 1.1 요즘 릴스에 많이 나오는 max와 hamilton으로 했습니다... import numpy as np from numpy import dot from numpy.linalg import norm import pandas as pd # Cosine Simiarity def cos_sim(A, B): return dot(A, B)/(norm(A)*norm(B)) from sklearn.feature yoonschallenge.tistory.com 과제 설명은 이전에 있었으니 간단하게 넘어가겠습니다. import nltk from nltk.corpus import stopwords from nltk.stem ..