공대생 도전 일지

CTC 즉 Connectionist temporal classification은 입력 길이와 출력 길이가 달라도 상관없이 학습을 가능하게 함 더보기다음은 CTC를 “정렬 없이 라벨 시퀀스를 학습·추론”하는 방법으로 이해시키는 핵심 설명입니다.1) CTC의 문제 설정입력(프레임) 길이 (T)와 타깃 라벨 길이 (U)가 다르고, 프레임↔라벨의 정렬을 모른다.네트워크는 각 시점 (t)마다 라벨 집합 (L)(예: {a,b,…})에 **블랭크 ⊔**를 추가한 (L\cup{\ ⊔\ })에 대한 확률 (y^t_k)를 출력한다.2) “정렬이 없어도 된다”는 뜻하나의 타깃 (l) 에 대해, 그 (l)로 축약되는 모든 프레임열(정렬 경로) (\pi) 의 확률을 합한다:[P(l\mid x,\theta)=\sum_{\pi\i..

이미지 데이터는 공간에 대한 정보가 들어있다. 그래서 단순한 네트워크보단 순서와, 위치 정보를 파악할 수 있도록 Convolution Neural Networks를 사용해야 함 Kernel(filter), Stride, Padding을 통해 조절 하나의 Filter를 학습시키면 되기에 weight를 공유하고, Pooling을 통해 Summarization 진행 (Average나 Max 풀링)CNN의 반복으로 LeNet 등장 CNN, Pooling 반복 후 Fully Connect layer 3번 AlexNet은 한개의 이미지를 2개의 Filter를 통해 2개로 나누어 진행, 그 후에 혼합 학습 1D-Convoluction을 통해 시계열 데이터도 연산할 수 있게 됨 이런 형식으로 Up sampling도..