Pin's Blog

Convolutional Neural Networks Reduction of Model Complexity 보통 Sequential data에 사용된다. Sequential data: ex) Images, Speech, Text Image Classification 어떻게 사진이 같은지 판단해 ㅠㅠ Local Feature 을 찾아내고, Matching 해보자 Feature Extraction Convolution: A way to find out local features 각 자리 곱하여 합한다. (net) 8X8 에 3X3 넣으면 6X6이 나온다. output은 Feature Map이라고 부르기도 한다. Threshold로 음수를 0으로 바꿀 수 있다. (relu) Zero padding 인풋에 0이..

internal covariate shift 문제를 해결하기 위해 Batch Noramlization이 나왔다. Covariate Shift 입력 도메인이 변경되는 현상 (입력의 분포가 변경되는 현상) 입력 되는 샘플의 도메인의 범위나 시점, 모수 등이 변경되는 현상이다. Internal Covariate Shift 각 net 값들의 분포들이 학습 될 때마다 바뀐다. 이전 net들의 값의 분포들은 다음 net값의 인풋이 될 것 인데, 분포가 계속 바뀌게 되면 학습이 오래걸리게 된다. EX) Training Data = { d1, d2, d3, d4} net = { 0 , 1 , 0 , 1 }