공대생 도전 일지

긴 문장, 큰 이미지 등 input이 엄청 클 때 사용된다. (h1, h2, h3 ...... hn) 대부분이 Multi-head를 사용한다.

문맥을 포함할 수 있다...? 대량, 병렬처리 가능 번역, Q&A 등 여러가지가 가능하다. 1. Long range Association Dependency : RNN, LSTM, GRU의 단점을 보안 2. Context 문맥 잘 이해 3. 각자 프로세스가 따로 놀아도 된다. -> 대용량 빠른 처리 가능, 여러 사람이 동시에 사용 가능 가변길이 -> LSTM에서는 패딩을 사용했지만 여기선 안그래도 된다. 계층구조 -> CNN과 유사한 구조를 가지고 있다. Pre- Traning = 내가 이미 학습된 것을 파인튜닝하여 사용할 수 있다. Multi modal = 다양한 input을 엮어서 보내준다. 해석 가능 =다른 모델은 Weight을 봐도 의미가 없지만 Self- attention은 Weight의 흐름이..

항상 어려웠던 이 부분... https://www.youtube.com/watch?v=6s69XY025MU&t=1322s&pp=ygUWdHJhbnNmb3JtZXIsIGF0dGVudGlvbg%3D%3D 이 유튜브가 찐으로 잘 설명해줍니다... 컴퓨터가 어디에 attention을 주냐 안주냐에 관심! 누구한테 관심을 얼마만큼 주냐 => Self Attention 주어진 모델 - Head -> 모든 head를 다 더하면 multi head attention RNN -> LSTM -> GRU -> Transformer information retirval == 내가 query를 줬을 때 키 key 값이 있고, 그것에 대한 value를 찾겠다. 문장 내의 연관 관계를 따지는데 q,k,v를 통해 문장 내의 cont..

워드 임베딩 - 단어의 벡터화 tf- idf도 나오고 tf도 나오고 다 하겠네요 고차원 백터 공간 - 다차원으로 양이 많다. High demensional vector space 워드 임베딩 == 백터를 표현하는데 중요한 역할, 단어간의 의미 관계 Dimensionality - 차원을 축소시켜 의미를 함축시킨다. representation learning은 중요하다! 그저 그 Index에 1을 표현해주는 것일뿐 차원이 엄청나게 커지지만 의미를 크게 갖지 못한다. 단어의 빈도를 벡터화 -> 어순과 문맥을 다 먹어버려서 다 섞여있어도 똑같은 빈도로 존재하면 똑같이 볼 것이다. 중요한 단어를 잡아내는 역할을 할 수 있지만 이것도 결국 문맥은 다 사라진다. idf - 적게 나오지만 중요한 단어 tf - 그냥 많..

4주차 과제 학습은 잘 하셨나요? 과제를 통하여 학습한 내용을 다시 한 번 확인해 보시기 바랍니다. 과제는 강좌 이수를 위한 평가 점수에 반영되며, 제출 기한은 4월 7일(일) 23시 59분 까지 입니다. [과제 내용] 2차원 특징 공간 상에서 다음과 같이 2개의 부류 (y = 1, y = 0)에 속하는 6개의 데이터들이 주어졌을 때, 이 데이터들을 학습 데이터로 하여 임의의 데이터들을 2개의 부류로 분류하는 분류기를 설계하려고 한다. 다음 질문에 답하시오 ( (1) 파라미터의 초기값을 으로 하였을 때, 로지스틱 회귀의 hypothesis 함수를 수식으로 표현하고, 다음 표의 빈칸을 채워 완성하시오: ( (2) 다음 표의 빈칸을 채워 완성시키고, 비용 함수 의 값을 계산 하시오: ( (3) 학습 상수를 ..