Pin's Blog

전이학습 Transfer Learning 은 출력층을 추가한 후 추가한 출력층만 학습 파인튜닝 Fine Tuning 은 출력층 등을 변경한 후 모든 파라미터 재학습 * 20세기부터 통용되어 사용하던 단어이므로 누군가의 논문에서 첫번째로 등장했는지 찾지 말 것.

Sequence Generation Encoder-Decoder Scheme Encoder: Compress input Sequence into one vector Decoder: Use one vector to generate output Callenges 인풋으로 들어온 백터들을 한개의 백터로 압축하고 여러 백터들로 풀어 내는 것은 성능이 낮아지는 원인이 될 수 있다. single vector may not enough for decoder to generate correct words 모든 단계에서 인풋들이 모두 동등하게 유용하지 않을 수 있다 인풋의 관련성들이 유용할 수 있다. Attention Model Attention Model Step Step 1: Evaluating Matching De..

Sequential Data Modeling Three Types of Problems Next Step Prediction ex) ABCDE -> F Classification ex) ABCDE -> True/False Sequence Generation Machine Translation (기계 번역) Speech Recognition (음성 인식) Image Caption Generation (이미지에 캡션 생성 Types of Processes one to many Image Captioning (이미지 -> 문자열) many to one 감정 분석 (문자열 -> 감정) many to many 기계 번역 (문자열 -> 문자열) synched many to many (동일 길이의 many to ma..

Connections form cycles x_t: input at time t h_t: hidden state at time t f: is an activation function for the hidden layer (e.g. tanh) U, V, W: network parameters RNN shares the same parameters across all steps g: activation function for the output layer Long Term Dependency x_1 ~ x_(t-1) are encoded into h_(t-1) h_(t-1) has the information on the past It is a context to process x_t However, it ..

Convolution Layer와 Fully Connected Feature Map의 연결방법 Flatten 각 채널의 셀을 한줄로 세워서 한줄로 합친다. ex) 7 X 7 X 512 -> (7 X 7 X 512) X1 정보 손실이 없다. 연산을 Convlution이후에 많이 하는 구조 Gap 각 채널의 평균값을 한줄로 나열한다. ex) 7 X 7 X 512 -> (512) X 1 평균으로 나타내면서 정보 손실이 있다. 연산을 Convolution에서 많이 하는 구조 Resnet Paper: Deep Residual Learning for Image Recognition Link: https://arxiv.org/abs/1512.03385 idea: 입력값 x를 몇 Layer 이후에 더해준다. '/2' ..

Transfer Learning 전이학습 Pretrained model에 Layer을 추가하여 추가한 Layer의 가중치만 변경 Fine Tuning 파인튜닝 Pretrained model에 Layer을 추가하여 모든 파라미터 재학습 맨날 다르다는 말만 듣지 같아보이는 데, 시간될 때 저렇게 말하는 근거를 찾아보자

Convolution Layer's Output Size Output Size = (Intput Size + Padding Size * 2 - Convolution Size ) / Stride + 1 def calculate_convolution(input_size, input_chanel, output_chanel, output_size=None, conv_size=3, padding=1, stride =1, print_input=True ): if output_size == None: output_size = (input_size + padding*2 - conv_size)/stride + 1 output_size = int(output_size) if output_size % 1 == 0 else ..

Convolutional Neural Networks Reduction of Model Complexity 보통 Sequential data에 사용된다. Sequential data: ex) Images, Speech, Text Image Classification 어떻게 사진이 같은지 판단해 ㅠㅠ Local Feature 을 찾아내고, Matching 해보자 Feature Extraction Convolution: A way to find out local features 각 자리 곱하여 합한다. (net) 8X8 에 3X3 넣으면 6X6이 나온다. output은 Feature Map이라고 부르기도 한다. Threshold로 음수를 0으로 바꿀 수 있다. (relu) Zero padding 인풋에 0이..

internal covariate shift 문제를 해결하기 위해 Batch Noramlization이 나왔다. Covariate Shift 입력 도메인이 변경되는 현상 (입력의 분포가 변경되는 현상) 입력 되는 샘플의 도메인의 범위나 시점, 모수 등이 변경되는 현상이다. Internal Covariate Shift 각 net 값들의 분포들이 학습 될 때마다 바뀐다. 이전 net들의 값의 분포들은 다음 net값의 인풋이 될 것 인데, 분포가 계속 바뀌게 되면 학습이 오래걸리게 된다. EX) Training Data = { d1, d2, d3, d4} net = { 0 , 1 , 0 , 1 }