공대생 도전 일지

잘 못 한게 있더라고여.... Predicted y는 h(x)값에 따라서 0,1이 나오는게 맞으니까 0.5가 넘으면 1, 0.5가 안 넘으면 0으로 해줬습니다. 2번은 틀린거 없고.. 3번에서 개수로 나눠주는게 역시 맞았네요 이거 따라 다시 계산해보면.. 끝입니다.... 자꾸 더하기 빼기 틀리는게 너무 크네요... 이상한거 틀리고...

2차원 특징 공간 상에서 다음과 같이 2개의 부류 (y = 1, y = 0)에 속하는 6개의 데이터들이 주어졌을 때, 이 데이터들을 학습 데이터로 하여 임의의 데이터들을 2개의 부류로 분류하는 분류기를 설계하려고 한다. 다음 질문에 답하시오 ( (1) 파라미터의 초기값을 으로 하였을 때, 로지스틱 회귀의 hypothesis 함수를 수식으로 표현하고, 다음 표의 빈칸을 채워 완성하시오: ( (2) 다음 표의 빈칸을 채워 완성시키고, 비용 함수 의 값을 계산 하시오: ( (3) 학습 상수를 로 하고, 경사하강법을 이용하여 파라미터를 한 사이클 업데이트 시키고, 업데이트 된 파라미터 벡터 값을 구하시오. 이거에 대한 자료 가져오기! 그럼 이제 이전 값 가지고 와서 계산 확실히 했는지 확인 마이너스 붙이는 것 ..

import torch import torch.nn as nn import torch.optim as optim import numpy as np import torch.nn.init as init def load_data(filename): data = np.loadtxt(filename, delimiter=',', dtype=np.float32) x = data[:, 0:-2] y = data[:, [-1]] # after 3 months (-2) and 6 months (-1) return torch.tensor(x, dtype=torch.float32), torch.tensor(y, dtype=torch.float32) 이번에는 함수로 해서 model을 만들어서 한번 잘게 잘게 보겠습니다. 저는 ..

1. 다음 문제 중 올바르지 않는 것을 고르시오. U-Net의 장점 및 성능의 이점이 아닌것은? 하나를 선택하세요. 1.세그멘테이션에 적합한 구조 2.데이터 부족 문제 해결 3.U자형 구조 4.채널 정보 제한 4번 밖에 없네요. U넷이 정보를 전해주려고 skip connection까지 하는데... 올바르지 않는 것은 "4. 채널 정보 제한"입니다. U-Net은 의료 이미지 세그멘테이션과 같은 작업에서 뛰어난 성능을 보이는 구조로, 다음과 같은 특징을 가집니다: 1. **세그멘테이션에 적합한 구조**: U-Net은 다운샘플링과 업샘플링을 통해 이미지의 세그멘테이션을 효과적으로 수행할 수 있는 구조를 가지고 있습니다. 이는 세그멘테이션 작업에 매우 적합합니다. 2. **데이터 부족 문제 해결**: U-Net..

선능 측정! 자율 주행 차량에서 Transformer를 활용해서 하는 것도 나빠 보이지 않는디.... 자율 주행 자동차에서 객체 탐지를 위해 CNN 기반의 YOLO(You Only Look Once)와 Transformer 기반 탐지 시스템 간에 선택하는 것은 여러 요소에 따라 달라질 수 있습니다. 각 방법의 장단점을 고려하여, 특정 상황과 요구 사항에 가장 적합한 기술을 선택해야 합니다. YOLO (CNN 기반) 장점: 속도: YOLO는 실시간 성능을 목표로 설계되었으며, 빠른 추론 속도를 제공합니다. 자율 주행 자동차와 같이 실시간 처리가 중요한 애플리케이션에 적합합니다. 성숙도와 지원: YOLO와 같은 CNN 기반 모델은 오랜 기간 동안 발전해왔으며, 광범위한 커뮤니티와 리소스 지원을 받고 있습니다..

Multi-Head Attention은 Transformer 아키텍처에서 사용되는 핵심 기술 중 하나입니다. 이 메커니즘은 문장이나 문서에서 중요한 정보를 더 잘 포착하기 위해, 단일 Attention 메커니즘을 여러 번 병렬로 실행하는 아이디어를 기반으로 합니다. 각각의 "Head"는 동일한 입력 데이터에 대해 서로 다른 방식으로 Attention을 계산합니다. 이렇게 함으로써, 모델은 다양한 서브스페이스(subspaces)에서 정보를 포착하고, 더 풍부한 문맥 정보를 학습할 수 있게 됩니다. Multi-Head Attention의 작동 원리 Transformer 모델에서, 입력 데이터는 주로 문장의 각 단어를 나타내는 벡터로 구성됩니다. Multi-Head Attention 메커니즘은 이 입력 데이터..

시작하기 전에 attention에 대해 복습... Transformer 모델의 핵심 구성 요소 중 하나인 Attention 메커니즘은, 입력 시퀀스 내의 각 단어가 다른 단어들과 어떻게 상호 작용하는지를 모델링하는 방식입니다. 이 메커니즘을 통해 모델은 중요한 단어에 더 많은 "주의"를 기울이고, 문맥을 더 잘 이해할 수 있게 됩니다. Attention의 기본 원리 Attention 메커니즘의 기본 아이디어는 "어떤 단어들에 주목해야 하는가?"입니다. 예를 들어, 문장 "The cat sat on the mat"를 처리할 때, "sat"라는 단어에 주목하면 "cat"과 "mat"이라는 단어와의 관계를 더 잘 파악할 수 있습니다. 이처럼 Attention은 특정 단어를 해석할 때 문맥상 중요한 다른 단어들..

256*256 -> 16*16으로 자른다. Lx - 여러 개의 레이어를 사용할 수 있다. ablation study - 여러 시행 착오를 통해 가장 좋은 값을 찾기 포지션이 있기 때문에 자신의 위치를 찾을 수 있다. 노란색일경우 유사도가 큰 것이다. MLP == FCN CNN 은 데이터양이 많이 늘어나면 문제가 생긴다 거대 시스템 - 큰 회사가 서비스를 할 때 CNN으로 하려면 문제가 있다. -> transformer 모델 선호

CNN은 영상의 픽셀 단위로 필터를 적용하고 있다. 픽셀보다는 큰 단위가 패치이다. 패치 번호가 중요하다. positional embedding 이 패치의 번호가 어디고, 상관 관계의 번호를 기억한다. 이걸 더 발전 시켜서 Swin, PVT 등등 나오고 있다.

1. 정규화(Regularization)에 관한 다음 설명 중에서 올바른 것을 모두 고르시오. 하나 이상을 선택하세요. 1 데이터를 그려 보는 것은 과적합의 유무를 판단하는 데 도움이 된다. 2 특징 값의 수를 증가시키면 과적합을 줄일 수 있다. 3 정규화는 파라미터 값의 크기를 줄여 과적합 문제를 예방할 수 있다. 4 정규화는 파라미터의 개수를 줄여 과적합 문제를 예방할 수 있다. 3번은 맞고.... 흠.... 문제를 ..... 진짜...... 4번도 사실 맞는 말이고, 특징 값이 뭔데 특징 값이 람다면 과적합을 줄이고, 파라미터면 과적합을 늘릴텐데... 1번도 사실 맞는거고.... 2번 특징값이 파라미터라고 생각하면 2ㅓㅂㄴ만 틀린것 같네요 정규화(Regularization)에 관한 올바른 설명을 고..