Pin's Blog

word 작성중 갑자기 고장나더니 복구하겠다며 응답없을 때 복구 파일을 제거해도 될 때, 안전모드로 word를 실행해서 복구파일 제거하자 실행 winword.exe /safe 복구 파일 제거 알수없는 에러와 불친절한 Microsoft FAQ로 인해 2시간 날렸다. 검색시 상업 광고만 잔뜩 나와서 블로그에 적어둔다.

Convolution Layer's Output Size Output Size = (Intput Size + Padding Size * 2 - Convolution Size ) / Stride + 1 def calculate_convolution(input_size, input_chanel, output_chanel, output_size=None, conv_size=3, padding=1, stride =1, print_input=True ): if output_size == None: output_size = (input_size + padding*2 - conv_size)/stride + 1 output_size = int(output_size) if output_size % 1 == 0 else ..

Convolutional Neural Networks Reduction of Model Complexity 보통 Sequential data에 사용된다. Sequential data: ex) Images, Speech, Text Image Classification 어떻게 사진이 같은지 판단해 ㅠㅠ Local Feature 을 찾아내고, Matching 해보자 Feature Extraction Convolution: A way to find out local features 각 자리 곱하여 합한다. (net) 8X8 에 3X3 넣으면 6X6이 나온다. output은 Feature Map이라고 부르기도 한다. Threshold로 음수를 0으로 바꿀 수 있다. (relu) Zero padding 인풋에 0이..

internal covariate shift 문제를 해결하기 위해 Batch Noramlization이 나왔다. Covariate Shift 입력 도메인이 변경되는 현상 (입력의 분포가 변경되는 현상) 입력 되는 샘플의 도메인의 범위나 시점, 모수 등이 변경되는 현상이다. Internal Covariate Shift 각 net 값들의 분포들이 학습 될 때마다 바뀐다. 이전 net들의 값의 분포들은 다음 net값의 인풋이 될 것 인데, 분포가 계속 바뀌게 되면 학습이 오래걸리게 된다. EX) Training Data = { d1, d2, d3, d4} net = { 0 , 1 , 0 , 1 }

Dropout In a Complex Neural Newwork All Nodes do not take the same amount of respsibility All Nodes are not equally trained 학습 시키다 안시키다를 반복해? 사전에 정해진 P (Drop out Porbability) (1-P: Retain Probability) 매 Epoch 마다 랜덤하게 P만큼 뺴버리자! Weight Decay는 잘 되는 애들을 가지고 계속 해네자. 랜덤하게 고르면서 균등하게 학습하는 것을 Drop out 이라 한다. Complex가 낮은 노드들이 학습되는 효과가 있다. Testing Test 할 때는 모든 노드를 다쓰기 떄문에 Train 할 때와 net값이 다르다. Testi 할 때는 n..

Learning Algorithm Learning with Gradient Descent Method Randomly choose an initial solution, Composition Function Differentiation: 합성함수의 미분 Error Back Propagation Hard Limit Function: ex) Step Function Basic Idea Given Input-Targets Pairs and output of NN Minimize the error Case 1: Weights between output and hidden layer for Dn = (xn1, xn2, ..., xnd, tnd, tn1, tn2, ..., tnm

Introduction Connection between neuron Simple Mathematical Model Simple mathematical model of neuron (Perceptron) First function: Weight summation of inputs Second function(Activation function): Non-linear threshhold Simple mathematical model of brain brain is a network of neurons What a perceptron can do? And operation, Or operation, Not operation What a Neural network can do? XOR operation Mul..

Goal of Machin Learning 주어진 데이터를 가장 잘 설명하는 모델을 찾아라 Steps of Machine Learning Step 1: 여러 종류의 모델 중에서 하나를 선택 Step 2: 함수가 주어진 데이터에 가장 잘 부합하도록 가중치를 잘 조정한다. 가장 잘 설명하는 모델이란? 주어진 데이터와 오류를 최소화하는 함수 오류는 오차, RSS, ... 가장 잘 설명하는 모델을 찾는 방안 주어진 데이터와 오류를 최소화하는 함수를 임의로 정한다. Residual Sum of Square 꼴로 변환한다. 모든 가중치 축으로 편미분한 값이 0이 되는 가중치를 찾는다. from sklearn.preprocessing import PolynomialFeatures from sklearn.linear_..

getPackages

Singular Matrix = Determinant is zero = 특이행렬 = 연립방정식의 해가 없음 = is not invertible