Pin's Blog

Dropout In a Complex Neural Newwork All Nodes do not take the same amount of respsibility All Nodes are not equally trained 학습 시키다 안시키다를 반복해? 사전에 정해진 P (Drop out Porbability) (1-P: Retain Probability) 매 Epoch 마다 랜덤하게 P만큼 뺴버리자! Weight Decay는 잘 되는 애들을 가지고 계속 해네자. 랜덤하게 고르면서 균등하게 학습하는 것을 Drop out 이라 한다. Complex가 낮은 노드들이 학습되는 효과가 있다. Testing Test 할 때는 모든 노드를 다쓰기 떄문에 Train 할 때와 net값이 다르다. Testi 할 때는 n..

Learning Algorithm Learning with Gradient Descent Method Randomly choose an initial solution, Composition Function Differentiation: 합성함수의 미분 Error Back Propagation Hard Limit Function: ex) Step Function Basic Idea Given Input-Targets Pairs and output of NN Minimize the error Case 1: Weights between output and hidden layer for Dn = (xn1, xn2, ..., xnd, tnd, tn1, tn2, ..., tnm

Introduction Connection between neuron Simple Mathematical Model Simple mathematical model of neuron (Perceptron) First function: Weight summation of inputs Second function(Activation function): Non-linear threshhold Simple mathematical model of brain brain is a network of neurons What a perceptron can do? And operation, Or operation, Not operation What a Neural network can do? XOR operation Mul..

Goal of Machin Learning 주어진 데이터를 가장 잘 설명하는 모델을 찾아라 Steps of Machine Learning Step 1: 여러 종류의 모델 중에서 하나를 선택 Step 2: 함수가 주어진 데이터에 가장 잘 부합하도록 가중치를 잘 조정한다. 가장 잘 설명하는 모델이란? 주어진 데이터와 오류를 최소화하는 함수 오류는 오차, RSS, ... 가장 잘 설명하는 모델을 찾는 방안 주어진 데이터와 오류를 최소화하는 함수를 임의로 정한다. Residual Sum of Square 꼴로 변환한다. 모든 가중치 축으로 편미분한 값이 0이 되는 가중치를 찾는다. from sklearn.preprocessing import PolynomialFeatures from sklearn.linear_..