공대생 도전 일지

2차원 공간상의 위치정보를 고려해야하는 data에 대해서 효과적으로 사용된다. 단순한 계산 과정을 보여준다. 서브 샘플링 - 데이터 수를 줄인다. 풀링은 모든 layer에 사용하는 것은 아니고 필요할 때 적절하게 사용한다. 패딩을 할 순 있지만 안 할뿐 배치 정규화가 생각보다 시간 많이 사용하니까 적당히 쓰기 겅중 겅중 뛰어 다니는 것 입 출력 사이즈 조절 및 가장 자리 feature의 인식률 Up 입력 사이즈가 필터를 거칠수록 작아진다 -> 패딩으로 막는다. 사이즈가 유지된다. 수용 영역이 넓어진다. -> 깊이의 한계가 생긴다. weight 수가 확 줄었다. == 학습시켜야 할 파라미터가 줄었다. But filter 수가 늘면 파라미터가 는다. 위치가 어디있든 feature는 똑같이 추출된다. 1. 파..

초기 값이 얼마인지에 따라 결과가 천차 만별이다. 편향성을 주게 된다. 너무 작은 값으로 계속 곱하면 0에 모이게 된다. 비슷하다 -> 구분이 안간다 -> 예측에 활용될 수 없다. 가중합을 하면서 수가 엄청 커진다. 이것도 중앙으로 모여야 하는데 양 끝으로 값이 벌어진다. 계층을 통과할 때 마다 음수가 날라간다. overfitting == 일반화 오류가 크다. 오리지널의 라벨을 가지고 가는데 6이 너무 회전하면 헷갈리니까 한계를 정해야 한다. 독립 -> 편향제거 다 다른 모델을 넣어도 되고, 모양이 같은 모델을 넣어도 된다. 같은 데이터 -> 입력 데이터를 독립적으로 독립성이 중요하다 드롭아웃은 통상적으로 20퍼 사용한다. 네트워크 초반 - 일반화를 위해 출력단 - 소프트 레이블링

아담, 모멘텀 그런 류들 잔뜩 나오겠네요 그냥 이런 것이 있다 정도.. 분모가 계속 커진다. -> 0에 수렴한다. 분자에도 만들어 0으로 가는 것을 막자! 굳이 분자 문모 다 만들지 말고 0만 안되게 하자 기울기 대신에 기울기를 누적한 것을 더해준다. 논리 게이트 구현 1 논리 게이트 구현 2 정규화의 중요성!

이미지에서 설명하는 내용은 이항 분류(binomial classification) 문제에서의 클래스 결정 방식과 클래스 확률을 계산하는 과정을 나타냅니다. 주어진 입력 ( X )에 대해 두 클래스 ( Y_1 )과 ( Y_2 ) 중 어느 쪽에 속하는지 결정하는 과정이며, 확률적 관점에서 접근합니다. 확률 ( P(Y_1|X) )는 입력 ( X )가 주어졌을 때 클래스 ( Y_1 )에 속할 조건부 확률입니다. 이는 베이즈 정리를 사용하여 다음과 같이 계산할 수 있습니다: [ P(Y_1|X) = \frac{P(X|Y_1)P(Y_1)}{P(X)} ] 여기서 ( P(X|Y_1) )은 클래스 ( Y_1 )이 주어졌을 때 입력 ( X )가 관측될 확률이고, ( P(Y_1) )은 클래스 ( Y_1 )의 사전 확률입니다...

XOR은 단층 신경망으론 절대로 못 만든다... 비선형성을 추가해주는 activation function! 영향력을 조절한다... 좋네요 x0 = 1 w0= bias다. sigmoid보다는 도함수가 조금 더 크다. 이건 둘중 하나만 구분할 때 사용한다. 마지막 레이어의 노드가 하나만 있어야 한다. 사진과 같은 경우에는 모든 픽셀을 다 맞출 필요가 없다 즉 loss function의 구조를 다시 만든다 ex) cos 유사도

딥러닝도 전처리는 인간이 할 수 있다. 컴퓨팅 파워만 좋으면 딥러닝이 좋다. 여기서 특성 추출은 사람이 만든 알고리즘이든 사람이 직접 추출하는 feature이다. 성능이 잘 나오지 않으면 데이터 문제인 경우도 있다. 훈련용 테스터용 나눠놓은 것도 가변적이다. 훈련용 데이터가 너무 적으면 훈련용 데이터를 늘려도 된다. 검증 데이터셋 - validation data set = 학습이 잘 되었는지 확인하는 용도이다. 배치 크기 : weight 업데이트 주기 에폭 : 데이터를 몇번 반복하냐 이미지 인식으로 segmentation도 있고 Box를 치는 방식도 있다. 2023.12.15 - [인공지능/공부] - 물체의 위치까지 구분하는 인공지능 -segmentation, odject detection 물체의 위치까..

1. 다음 문장의 빈칸에 들어갈 가장 적절한 단어를 고르시오. “ 생성적 적대 신경망(GAN)은 경쟁 프로세스에 참여하는 두 개의 신경망, 즉 _______와 ________로 구성된 머신 러닝 프레임워크” 하나를 선택하세요. 1.생성자 , 판별자 2.학습자 , 평가자 3.분류자 , 회귀자 4.최적화자, 표준화자 생성자랑 판별자가 동시에 학습하는 형태이죠! 정답은 1. 생성자, 판별자 입니다. 설명: 생성적 적대 신경망(GAN)은 두 개의 신경망으로 구성된 구조입니다. 하나는 생성자(Generator) 로, 새로운 데이터 인스턴스를 생성하는 역할을 합니다. 다른 하나는 판별자(Discriminator) 로, 생성자가 만든 데이터와 실제 데이터를 구별하는 역할을 합니다. 생성자와 판별자는 서로 경쟁하면서 ..

1. 다음 설명의 빈 칸에 들어갈 가장 적절한 단어들을 고르시오. “오차 역전파 학습 알고리즘은 forward pass와 backward propagation 두 단계로 수행된다. Forward pass 는 주어진 입력에 대한 네트워크의 (______)을(를) 계산하는 과정이며, backward propagation는 네트워크의 실제 출력과 원하는 출력 사이의 (_____)을(를) 이용하여 가중치를 업데이트한다.” 하나를 선택하세요. 가중치,오차 가중치,그래디언트 출력,오차 출력,그래디언트 forward는 예측치를 계산하는 즉 출력을 계산...? 가중치 계산도 맞지 않나,...? backpropagation은 오차를 이용하여 가중치를 업데이트하는건데.... 일단 출력과 오차가 맞겠네요 정답은 "출력, 오..

https://suno.com/ Suno Suno is building a future where anyone can make great music. suno.com https://www.udio.com/ Udio | Make your music Discover, create, and share music with the world. www.udio.com 영상에서의 GAN - 인코더 + 디코더 모두 Convolution이다. 2D이기 때문! LSTM - 시계열 데이터이므로 사용하기에 적절하다. ELMo - 양방향 LSTM 무작위 노이즈 - 가우시안 분포를 가지는 white noise Transformer도 생성하지만 GAN으로도 가능하다. BERT와 Chat GPT가 하는 일인데 조금 작은 scale이..

안정화를 많이 한 구조이다. ReLU - 이게 큰 차이를 나타낸다. 판별자에선 LeakyReLU의 성능이 좋았다. 방 내부는 특이하다 - 생성하는데 난이도가 높다! GAN과 구조가 거의 똑같다.