공대생 도전 일지

1. 다음 설명의 빈 칸에 들어갈 가장 적절한 단어들을 고르시오. “오차 역전파 학습 알고리즘은 forward pass와 backward propagation 두 단계로 수행된다. Forward pass 는 주어진 입력에 대한 네트워크의 (______)을(를) 계산하는 과정이며, backward propagation는 네트워크의 실제 출력과 원하는 출력 사이의 (_____)을(를) 이용하여 가중치를 업데이트한다.” 하나를 선택하세요. 가중치,오차 가중치,그래디언트 출력,오차 출력,그래디언트 forward는 예측치를 계산하는 즉 출력을 계산...? 가중치 계산도 맞지 않나,...? backpropagation은 오차를 이용하여 가중치를 업데이트하는건데.... 일단 출력과 오차가 맞겠네요 정답은 "출력, 오..

https://suno.com/ Suno Suno is building a future where anyone can make great music. suno.com https://www.udio.com/ Udio | Make your music Discover, create, and share music with the world. www.udio.com 영상에서의 GAN - 인코더 + 디코더 모두 Convolution이다. 2D이기 때문! LSTM - 시계열 데이터이므로 사용하기에 적절하다. ELMo - 양방향 LSTM 무작위 노이즈 - 가우시안 분포를 가지는 white noise Transformer도 생성하지만 GAN으로도 가능하다. BERT와 Chat GPT가 하는 일인데 조금 작은 scale이..

안정화를 많이 한 구조이다. ReLU - 이게 큰 차이를 나타낸다. 판별자에선 LeakyReLU의 성능이 좋았다. 방 내부는 특이하다 - 생성하는데 난이도가 높다! GAN과 구조가 거의 똑같다.

영상에선 GAN 이전엔 생성이라는 말을 잘 사용하지 않았다. 핵심은 ratent space다! - 기본적인 분포는 가우시안 분포 Noise를 제거해주는 모델로도 사용가능하다. 노이즈 캔슬링 U-net => skip connection이 존재한다. - 오토 인코더보다 노이즈 제거 성능이 우수하다. 표정과 안경 등을 표현할 수 있다. GAN - Dynamic하다. 내가 뭘 주느냐에 따라 완전히 새로운 것을 만든다. 지역을 지정해주면 알아서 생성해준다. stable diffusion - 내가 원하는 방향대로 발산하지 않고 도달한다. 컴퓨팅 파워, 손이 많이 들어간다. - 차원이 유지하니까 연산이 엄청 많이 들어갈 것 같네요

Landom 이미지를 준다 ( 가우시안 분포를 따른다) -> 생성형 모델 (레퍼런스를 준다.) -> 고양이 latent space - 오리지널 이미지를 압축한 형태 채널 깊이를 통해 비디오를 만들 수 있다. noise == latent space 2023.12.14 - [인공지능/공부] - 생성형 인공지능 Autoencoder - 개념 생성형 인공지능 Autoencoder - 개념 여태까지 FCN, CNN, CAM 모두 supervised learning였다. 즉 지도학습으로 input(data)와 정답(label)이 주어지는 학습이었다. 그러나 오늘 다룰 Autoencoder는 label이 없는 즉 정답이 input인 unsupervised learning이다. 나 yoonschallenge.tisto..

2023.12.15 - [인공지능/공부] - 생성형 인공지능 GAN 개념 - autoencoder의 업그레이드 버전 생성형 인공지능 GAN 개념 - autoencoder의 업그레이드 버전 GAN = Generative Adversarial Networks GAN은 이미 실습을 한번 했었다. 아래 포스팅을 통해 한번 확인할 수 있다. 2023.12.07 - [인공지능/공부] - TensorFlow - 생성형 인공지능 GAN TensorFlow - 생성형 인공지능 GAN 여 yoonschallenge.tistory.com 두 개의 네트워크가 싸우므로 adversarial이 붙었다. Generator - 디코더 - fake를 만든다. Discriminator -인코더 - real인지 fake인지 판별한다. 생..

ADAM이나 모멘텀 나오나...? 손 글씨 인식이 나오네요 입력과 출력이다. 오타.. 데이터 수가 많아질수록 하나의 epoch를 완성하는 시간은 오래걸리게 된다. max : arguemax 주어진 이미지가 8이라는 숫자라는 것을 신경회로망에서 잘 인식한 것을 알 수 있다.

일반적 - 랜덤하게 1샘플에 학습 1번 1epoch에 학습 1번

2023.12.16 - [인공지능/공부] - 인공지능 backpropagation, optimization- 개념 인공지능 backpropagation, optimization- 개념 backpropagation backpropagation은 대부분의 인공지능의 파라미터 업데이트 방식이다. 우린 경사하강법을 통해 loss를 최소화 시키는 방향으로 학습한다. 기본적인 gradient 계산 방법이다. 이제 activation fun yoonschallenge.tistory.com 비선형 분류문제이다.