Pin's Blog

Specificity (특이도) TN/(FP+TN) 부정 중 맞춘 부정의 수 Sensitivity (민감도) TP/(TP+FN) 긍정 중 맞춘 긍정의 수 Recall (재현율) TP/(TP+FN) 전체 긍정 중에서 검출 긍정 수 Precision (정밀도) TP/(TP+FP) 긍정이라고 판정한 것 중에 실제 긍정 수 Accuracy (정확도) (TP+TN)/(TP+FN+FP+FN) 전체 개수 중에서 긍정과 부정을 맞춘 수 예측을 긍정으로 하면 Positive 부정으로 하면 Negative 예측이 맞으면 True 틀리면 False

전이학습 Transfer Learning 은 출력층을 추가한 후 추가한 출력층만 학습 파인튜닝 Fine Tuning 은 출력층 등을 변경한 후 모든 파라미터 재학습 * 20세기부터 통용되어 사용하던 단어이므로 누군가의 논문에서 첫번째로 등장했는지 찾지 말 것.

Sequence Generation Encoder-Decoder Scheme Encoder: Compress input Sequence into one vector Decoder: Use one vector to generate output Callenges 인풋으로 들어온 백터들을 한개의 백터로 압축하고 여러 백터들로 풀어 내는 것은 성능이 낮아지는 원인이 될 수 있다. single vector may not enough for decoder to generate correct words 모든 단계에서 인풋들이 모두 동등하게 유용하지 않을 수 있다 인풋의 관련성들이 유용할 수 있다. Attention Model Attention Model Step Step 1: Evaluating Matching De..

Sequential Data Modeling Three Types of Problems Next Step Prediction ex) ABCDE -> F Classification ex) ABCDE -> True/False Sequence Generation Machine Translation (기계 번역) Speech Recognition (음성 인식) Image Caption Generation (이미지에 캡션 생성 Types of Processes one to many Image Captioning (이미지 -> 문자열) many to one 감정 분석 (문자열 -> 감정) many to many 기계 번역 (문자열 -> 문자열) synched many to many (동일 길이의 many to ma..

Connections form cycles x_t: input at time t h_t: hidden state at time t f: is an activation function for the hidden layer (e.g. tanh) U, V, W: network parameters RNN shares the same parameters across all steps g: activation function for the output layer Long Term Dependency x_1 ~ x_(t-1) are encoded into h_(t-1) h_(t-1) has the information on the past It is a context to process x_t However, it ..

Convolution Layer와 Fully Connected Feature Map의 연결방법 Flatten 각 채널의 셀을 한줄로 세워서 한줄로 합친다. ex) 7 X 7 X 512 -> (7 X 7 X 512) X1 정보 손실이 없다. 연산을 Convlution이후에 많이 하는 구조 Gap 각 채널의 평균값을 한줄로 나열한다. ex) 7 X 7 X 512 -> (512) X 1 평균으로 나타내면서 정보 손실이 있다. 연산을 Convolution에서 많이 하는 구조 Resnet Paper: Deep Residual Learning for Image Recognition Link: https://arxiv.org/abs/1512.03385 idea: 입력값 x를 몇 Layer 이후에 더해준다. '/2' ..

Transfer Learning 전이학습 Pretrained model에 Layer을 추가하여 추가한 Layer의 가중치만 변경 Fine Tuning 파인튜닝 Pretrained model에 Layer을 추가하여 모든 파라미터 재학습 맨날 다르다는 말만 듣지 같아보이는 데, 시간될 때 저렇게 말하는 근거를 찾아보자

Convolution Layer's Output Size Output Size = (Intput Size + Padding Size * 2 - Convolution Size ) / Stride + 1 def calculate_convolution(input_size, input_chanel, output_chanel, output_size=None, conv_size=3, padding=1, stride =1, print_input=True ): if output_size == None: output_size = (input_size + padding*2 - conv_size)/stride + 1 output_size = int(output_size) if output_size % 1 == 0 else ..

Convolutional Neural Networks Reduction of Model Complexity 보통 Sequential data에 사용된다. Sequential data: ex) Images, Speech, Text Image Classification 어떻게 사진이 같은지 판단해 ㅠㅠ Local Feature 을 찾아내고, Matching 해보자 Feature Extraction Convolution: A way to find out local features 각 자리 곱하여 합한다. (net) 8X8 에 3X3 넣으면 6X6이 나온다. output은 Feature Map이라고 부르기도 한다. Threshold로 음수를 0으로 바꿀 수 있다. (relu) Zero padding 인풋에 0이..