공대생 도전 일지

Multi-Head Attention은 Transformer 아키텍처에서 사용되는 핵심 기술 중 하나입니다. 이 메커니즘은 문장이나 문서에서 중요한 정보를 더 잘 포착하기 위해, 단일 Attention 메커니즘을 여러 번 병렬로 실행하는 아이디어를 기반으로 합니다. 각각의 "Head"는 동일한 입력 데이터에 대해 서로 다른 방식으로 Attention을 계산합니다. 이렇게 함으로써, 모델은 다양한 서브스페이스(subspaces)에서 정보를 포착하고, 더 풍부한 문맥 정보를 학습할 수 있게 됩니다. Multi-Head Attention의 작동 원리 Transformer 모델에서, 입력 데이터는 주로 문장의 각 단어를 나타내는 벡터로 구성됩니다. Multi-Head Attention 메커니즘은 이 입력 데이터..

시작하기 전에 attention에 대해 복습... Transformer 모델의 핵심 구성 요소 중 하나인 Attention 메커니즘은, 입력 시퀀스 내의 각 단어가 다른 단어들과 어떻게 상호 작용하는지를 모델링하는 방식입니다. 이 메커니즘을 통해 모델은 중요한 단어에 더 많은 "주의"를 기울이고, 문맥을 더 잘 이해할 수 있게 됩니다. Attention의 기본 원리 Attention 메커니즘의 기본 아이디어는 "어떤 단어들에 주목해야 하는가?"입니다. 예를 들어, 문장 "The cat sat on the mat"를 처리할 때, "sat"라는 단어에 주목하면 "cat"과 "mat"이라는 단어와의 관계를 더 잘 파악할 수 있습니다. 이처럼 Attention은 특정 단어를 해석할 때 문맥상 중요한 다른 단어들..

256*256 -> 16*16으로 자른다. Lx - 여러 개의 레이어를 사용할 수 있다. ablation study - 여러 시행 착오를 통해 가장 좋은 값을 찾기 포지션이 있기 때문에 자신의 위치를 찾을 수 있다. 노란색일경우 유사도가 큰 것이다. MLP == FCN CNN 은 데이터양이 많이 늘어나면 문제가 생긴다 거대 시스템 - 큰 회사가 서비스를 할 때 CNN으로 하려면 문제가 있다. -> transformer 모델 선호

CNN은 영상의 픽셀 단위로 필터를 적용하고 있다. 픽셀보다는 큰 단위가 패치이다. 패치 번호가 중요하다. positional embedding 이 패치의 번호가 어디고, 상관 관계의 번호를 기억한다. 이걸 더 발전 시켜서 Swin, PVT 등등 나오고 있다.

1. 정규화(Regularization)에 관한 다음 설명 중에서 올바른 것을 모두 고르시오. 하나 이상을 선택하세요. 1 데이터를 그려 보는 것은 과적합의 유무를 판단하는 데 도움이 된다. 2 특징 값의 수를 증가시키면 과적합을 줄일 수 있다. 3 정규화는 파라미터 값의 크기를 줄여 과적합 문제를 예방할 수 있다. 4 정규화는 파라미터의 개수를 줄여 과적합 문제를 예방할 수 있다. 3번은 맞고.... 흠.... 문제를 ..... 진짜...... 4번도 사실 맞는 말이고, 특징 값이 뭔데 특징 값이 람다면 과적합을 줄이고, 파라미터면 과적합을 늘릴텐데... 1번도 사실 맞는거고.... 2번 특징값이 파라미터라고 생각하면 2ㅓㅂㄴ만 틀린것 같네요 정규화(Regularization)에 관한 올바른 설명을 고..

9차인 경우 매우 큰 파라미터 값이 보인다. -> 오버피팅 트레이닝 데이터에서 에러가 폭증하였다. 오히려 언더피팅이 발생할 수 있다.

정규화 항만 추가되었다. 정규화를 통해 수렴속도가 빨라지게 된다.

정규화 - 과적합 예방 4차 함수를 사용하여 오버피팅이 발생되었다. 단순하고 부드러운 예측함수 - 과적합 해소 어떤 파라미터가 중요한지 판단하기 어렵다! -> 다해 람다의 역할? 어우야 자료에 오타가 있네요 람다가 굉장히 작으면 첫 번째 목적에 치중하고, 람다가 굉장히 크면 두 번째 목적에 치중하게 됩니다. 정규화 파라미터 값을 적당한 값으로 사용해야 한다.