공대생 도전 일지

공간적 상관관계 - 이미지에서 한 픽셀과 옆 픽셀과의 관계성 흑백 이미지는 한 픽셀에 한 값을 가지지만 컬러는 한 픽셀에 RGB 3가지 값 (채널)을 가지고 있다. 백터화 - 이미지를 한줄씩 떼어서 붙여낸다 -> 이미지의 모든 픽셀을 한줄로 만들어 낸다. -> 공간 정보가 사라진다. 즉 공간정보를 소실시키지 않기 위해 CNN이 나왔다. Convolution layer - 특징 추출 Fully connected layer - 특징을 통한 분류 머신러닝은 사람이 한다... 딥러닝은 컴퓨터가 추출을 뽑는다!!! -> Convolution layer에서 일어난다. 이미지를 그대로 넣어서 추출하기 때문에 공간정보도 살아있다. 영상의 크기도 줄일 수 있고, global feature도 얻을 수 있다. weight를..

딥러닝 - 학습, 모델링, 실제 사용에 대해 알아보자! 머신러닝은 사람이 먼저 피쳐를 고른다. 그 후 컴퓨터가 알아서 학습하여 구별한다. 머신러닝은 피쳐를 사람이 고른다! 딥러닝 피쳐는 잘 모르지만 컴퓨터가 잘 찾은 특징이다. - 사람이 놓칠 수 있는 중요한 특징을 잘 잡는다. -> 성능측면에서 더 좋을 수 있다 다만 더 좋은 성능이 나왔을 때 이유를 설명하기 어렵다. - 컴퓨터기 피쳐를 뽑기 때문 딥러닝 학습 - 원하는 방향으로 예측하도록 weight와 bias를 업데이트한다. 학습 시간이 오래 걸리는 단점이 있다. but feature를 잘 뽑아 낸다. 심층 신경망을 쓰는 딥러닝 기술이 항상 좋을까? - 항상 좋지는 않을거 같다. 일단 데이터 문제, 시간문제가 기본적으로 있다. 문제에 따라 적절히 분..

1957 - 프랑크 로젠블럿이 퍼셉트론 이론을 발표! 문제 1 역전파 알고리즘에서 인공 신경망이 깊어질수록 기울기 정보가 사라진다! 문제 2 학습 데이터에 대해서 오차가 감소하지만 실제 데이터에 대해서는 오히려 오차가 증가하는 과적합 문제 문제 3 문제의 규모가 커질 때마다 나타나는 높은 시간 복잡도와 컴퓨터 성능의 한계 -> 인공신경망 이론 정체! 2012년 Res NET을 만들었다. - 이미지 인식의 최고 효율이 되었다. 이제 딥러닝 기술의 핵심 개념 및 특징이 나온다! backpropagation으로 인해 첫번째 겨울이 사라졌었다. -> 비선형 분류 문제를 풀 수 있어졌다. 심층 신경망 학습이 힘든 것을 해결한 것이 힌튼이다. 그래서 오버피팅이랑 기울기 소실 어떻게 해결했누 다 아는 방식 이었습니다..

잘 못 한게 있더라고여.... Predicted y는 h(x)값에 따라서 0,1이 나오는게 맞으니까 0.5가 넘으면 1, 0.5가 안 넘으면 0으로 해줬습니다. 2번은 틀린거 없고.. 3번에서 개수로 나눠주는게 역시 맞았네요 이거 따라 다시 계산해보면.. 끝입니다.... 자꾸 더하기 빼기 틀리는게 너무 크네요... 이상한거 틀리고...

목표 - 대표적 NLU Task의 요약 작업에 대해 이해할 수 있다. 추상요약 - 새로운 문장을 생성하므로 좀 더 난이도 있는 방식으로 볼 수 있다. 추상 문장으로 요약 -> 정보의 압축이 필요하다 단일 문서를 다중문서에 여러번 쓰게 되면 실패할 확률이 있다! 반면, 특정 내용에 대해 요청하는 query가 들어온 경우에, 해당 query의 요구나 질문에 집중하여 요약문을 생성하는 방법을 query-focused 요약 방법이라 한다. 예를 들어, 사용자가 원하는 정보를 얻기 위해서 문서들을 탐색할 때 문서의 전반적인 내용 보다는 특정반 정보나 문장에 대해서만 혹은 정답을 얻기를 원할 확률이 높다. - 개인화 요약 방식과 직접적으로 연관되어 있다. 이렇듯 정보적 요약의 목적이 문서의 핵심 정보를 추출하는 것..

목표 - 대표적인 NLU task의 자연어 추론 작업에 대해 이해할 수 있다. 유사도를 통해서 어떻게 저 3개를 결정할 수 있지...? 말이 안되는 말들은 벡터가 반대로 가나...? 백터 기반의 의미 공간을 만들기 위해 큰 언어 코퍼스를 사용하여 언어의 유사도 구분 가능 -> 통계기반 프레임 - 규칙 기반의 무엇인가 통계 기반 - 어느 정도의 길이가 있어야 된다. 시소러스 - 단어 사전 transformation rule - 예외를 잘 규정해놓기! 구문 분석을 통한 트리 구조 다양한 기법 - 인간이 만들어 놓은 통계 백터를 압축하기 시작했다. 확실의 정도 - 사람의 주관이 들어가 있다. 자연어 이해 관점에서의 이의제기 -> 문제 해결, 데이터 수집에 대한 좋은 방향 제시

2차원 특징 공간 상에서 다음과 같이 2개의 부류 (y = 1, y = 0)에 속하는 6개의 데이터들이 주어졌을 때, 이 데이터들을 학습 데이터로 하여 임의의 데이터들을 2개의 부류로 분류하는 분류기를 설계하려고 한다. 다음 질문에 답하시오 ( (1) 파라미터의 초기값을 으로 하였을 때, 로지스틱 회귀의 hypothesis 함수를 수식으로 표현하고, 다음 표의 빈칸을 채워 완성하시오: ( (2) 다음 표의 빈칸을 채워 완성시키고, 비용 함수 의 값을 계산 하시오: ( (3) 학습 상수를 로 하고, 경사하강법을 이용하여 파라미터를 한 사이클 업데이트 시키고, 업데이트 된 파라미터 벡터 값을 구하시오. 이거에 대한 자료 가져오기! 그럼 이제 이전 값 가지고 와서 계산 확실히 했는지 확인 마이너스 붙이는 것 ..

import torch import torch.nn as nn import torch.optim as optim import numpy as np import torch.nn.init as init def load_data(filename): data = np.loadtxt(filename, delimiter=',', dtype=np.float32) x = data[:, 0:-2] y = data[:, [-1]] # after 3 months (-2) and 6 months (-1) return torch.tensor(x, dtype=torch.float32), torch.tensor(y, dtype=torch.float32) 이번에는 함수로 해서 model을 만들어서 한번 잘게 잘게 보겠습니다. 저는 ..

1. 다음 문제 중 올바르지 않는 것을 고르시오. U-Net의 장점 및 성능의 이점이 아닌것은? 하나를 선택하세요. 1.세그멘테이션에 적합한 구조 2.데이터 부족 문제 해결 3.U자형 구조 4.채널 정보 제한 4번 밖에 없네요. U넷이 정보를 전해주려고 skip connection까지 하는데... 올바르지 않는 것은 "4. 채널 정보 제한"입니다. U-Net은 의료 이미지 세그멘테이션과 같은 작업에서 뛰어난 성능을 보이는 구조로, 다음과 같은 특징을 가집니다: 1. **세그멘테이션에 적합한 구조**: U-Net은 다운샘플링과 업샘플링을 통해 이미지의 세그멘테이션을 효과적으로 수행할 수 있는 구조를 가지고 있습니다. 이는 세그멘테이션 작업에 매우 적합합니다. 2. **데이터 부족 문제 해결**: U-Net..

선능 측정! 자율 주행 차량에서 Transformer를 활용해서 하는 것도 나빠 보이지 않는디.... 자율 주행 자동차에서 객체 탐지를 위해 CNN 기반의 YOLO(You Only Look Once)와 Transformer 기반 탐지 시스템 간에 선택하는 것은 여러 요소에 따라 달라질 수 있습니다. 각 방법의 장단점을 고려하여, 특정 상황과 요구 사항에 가장 적합한 기술을 선택해야 합니다. YOLO (CNN 기반) 장점: 속도: YOLO는 실시간 성능을 목표로 설계되었으며, 빠른 추론 속도를 제공합니다. 자율 주행 자동차와 같이 실시간 처리가 중요한 애플리케이션에 적합합니다. 성숙도와 지원: YOLO와 같은 CNN 기반 모델은 오랜 기간 동안 발전해왔으며, 광범위한 커뮤니티와 리소스 지원을 받고 있습니다..