Pin's Blog

특이도 민감도 재현율 정밀도 정확도

neopin — Fri, 12 Aug 2022 17:28:34 +0900


Specificity (특이도)	TN/(FP+TN)	부정 중 맞춘 부정의 수
Sensitivity (민감도)	TP/(TP+FN)	긍정 중 맞춘 긍정의 수
Recall (재현율)	TP/(TP+FN)	전체 긍정 중에서 검출 긍정 수
Precision (정밀도)	TP/(TP+FP)	긍정이라고 판정한 것 중에 실제 긍정 수
Accuracy (정확도)	(TP+TN)/(TP+FN+FP+FN)	전체 개수 중에서 긍정과 부정을 맞춘 수

예측을 긍정으로 하면 Positive 부정으로 하면 Negative
예측이 맞으면 True 틀리면 False

[Colab] Matplotlib 한국어 폰트 깨짐

neopin — Fri, 22 Jul 2022 15:19:13 +0900

해결방안

!pip install matplotlib

!sudo apt-get install -y fonts-nanum
!sudo fc-cache -fv
!rm ~/.cache/matplotlib -rf

# 런타임 재시작

참고

# 폰트 인스톨
# 한글폰트 사용 in colab
%matplotlib inline  

import matplotlib as mpl 
import matplotlib.pyplot as plt 
import matplotlib.font_manager as fm  


path = '/usr/share/fonts/truetype/nanum/NanumBarunGothic.ttf' 
font_name = fm.FontProperties(fname=path, size=10).get_name()
print(font_name)
plt.rc('font', family=font_name)

fm._rebuild()
mpl.rcParams['axes.unicode_minus'] = False

plt.text(0.5, 0.5, '한글되냐', size=10)

[딥러닝] 전이학습과 파인튜닝의 차이점

neopin — Sat, 18 Jun 2022 13:19:25 +0900

전이학습 Transfer Learning 은 출력층을 추가한 후 추가한 출력층만 학습

파인튜닝 Fine Tuning 은 출력층 등을 변경한 후 모든 파라미터 재학습

* 20세기부터 통용되어 사용하던 단어이므로 누군가의 논문에서 첫번째로 등장했는지 찾지 말 것.

Pandas 여러 시트로 excel 저장하기

neopin — Sun, 1 May 2022 21:43:15 +0900

with pd.ExcelWriter('hello_world.xlsx') as writer:
    df.to_excel(writer, sheet_name='a', encoding="UTF-8")
    df.to_excel(writer, sheet_name='b', encoding="UTF-8")

df.columns.names 로 multi column index 만든경우
- index=False 지원안함
- 다중 컬럼 인덱스 사용시 Column Head 밑에 빈 줄이 자동 생성되므로 주의할 것

[딥러닝 필기] week9. RNN-Attention Model

neopin — Sun, 17 Apr 2022 20:30:27 +0900

Sequence Generation

Encoder-Decoder Scheme

Encoder: Compress input Sequence into one vector
Decoder: Use one vector to generate output

Callenges

인풋으로 들어온 백터들을 한개의 백터로 압축하고 여러 백터들로 풀어 내는 것은 성능이 낮아지는 원인이 될 수 있다.
- single vector may not enough for decoder to generate correct words
모든 단계에서 인풋들이 모두 동등하게 유용하지 않을 수 있다
인풋의 관련성들이 유용할 수 있다.

Attention Model

Attention Model Step

Step 1: Evaluating Matching Degree
- m: context에 x들이 얼마나 유용한지 NN 후 sigmoid
- NN안쓰고 innerproduct만 사용하는 경우도 존재한다.
Step 2: Normalizing Matching Degree
- s: m을 softmax로 노말라이즈하여 구한 유용도
Step 3: Aggregating Inputs
- z: sumproduct(x, s)

Attenton is Great!

Attention significantly improves NMT(Neural Machine Translation) performance
Attention solves the bottleneck problem.
Attention helps with vanishing gradient problem.
Attention provides some interpretability.

Bidirectional LSTM

h_i = [ ->(h_i), <-(h_i) ] represents the past and future information

[딥러닝 필기] week9. Sequence Modeling

neopin — Sun, 17 Apr 2022 19:36:47 +0900

Sequential Data Modeling

Three Types of Problems

Next Step Prediction
- ex) ABCDE -> F
Classification
- ex) ABCDE -> True/False
Sequence Generation
- Machine Translation (기계 번역)
- Speech Recognition (음성 인식)
- Image Caption Generation (이미지에 캡션 생성

Types of Processes

one to many
- Image Captioning (이미지 -> 문자열)
many to one
- 감정 분석 (문자열 -> 감정)
many to many
- 기계 번역 (문자열 -> 문자열)
synched many to many (동일 길이의 many to many)
- 주가 예측
- 다음 단어 예측

[딥러닝 필기] week8. LSTM-GRU

neopin — Sat, 16 Apr 2022 14:33:32 +0900

[딥러닝 필기] week8. RNN (Recurrent Neural Networks)

neopin — Sat, 16 Apr 2022 13:41:46 +0900

Connections form cycles

x_t: input at time t
h_t: hidden state at time t
f: is an activation function for the hidden layer (e.g. tanh)
U, V, W: network parameters
- RNN shares the same parameters across all steps
g: activation function for the output layer

Long Term Dependency

x_1 ~ x_(t-1) are encoded into h_(t-1)
h_(t-1) has the information on the past
It is a context to process x_t

However, it may exponentially decade or grow
Usually it is limited to 10 steps

Sequential Data

값과 위치(순서)가 모두 중요한 정보인 데이터
- 값만 중요하면 Non-Sequential Data 이다.

Example
- 순서가 있는 데이터 (x) 1, 2, 3, 4 모든 데이터는 순서가 있다.
- 시간에 따라 생성 되는 데이터 (x) 모든 데이터는 시간에 따라 생성 된다.
- 시간에 따라 변하는 데이터 (x) 1 2 3 4 데이터는 시간에 따라 변할 수 있다.
- 순서가 중요한 데이터 (x) 값도 중요하다.
- 이전 데이터가 이후 데이터에 영향을 주는 데이터 (x) 영향을 준다고 위치가 생기지 않는다.
- 주기성이 있는 데이터 (x) 위치가 정보라고해서 주기성이 생기지 않는다.

[딥러닝 필기] week8. CNN Basics: CNN Structure

neopin — Sat, 16 Apr 2022 13:27:57 +0900

Convolution Layer와 Fully Connected Feature Map의 연결방법

Flatten

각 채널의 셀을 한줄로 세워서 한줄로 합친다.
- ex) 7 X 7 X 512 -> (7 X 7 X 512) X1
정보 손실이 없다.
연산을 Convlution이후에 많이 하는 구조

Gap

각 채널의 평균값을 한줄로 나열한다.
- ex) 7 X 7 X 512 -> (512) X 1
평균으로 나타내면서 정보 손실이 있다.
연산을 Convolution에서 많이 하는 구조

Resnet

Paper: Deep Residual Learning for Image Recognition
Link: https://arxiv.org/abs/1512.03385
idea:
- 입력값 x를 몇 Layer 이후에 더해준다.

'/2' 의 의미는 stride 2라는 의미 이다.
- 이떄, residual을 하기에 size가 맞지 않는데, 이전 conv 값에 1X1Xchanel 마스크로 stride2해준다.

Depthwise convolution

Depthwise Separable convolution

xception

Depthwise Convolution: Spatial Correlation
Pointwise Convolution : Channel Correlation

Transfer Learning 과 Fine Tuning의 차이

neopin — Sun, 10 Apr 2022 23:50:44 +0900

Transfer Learning

전이학습
Pretrained model에 Layer을 추가하여 추가한 Layer의 가중치만 변경

Fine Tuning

파인튜닝
Pretrained model에 Layer을 추가하여 모든 파라미터 재학습

맨날 다르다는 말만 듣지 같아보이는 데, 시간될 때 저렇게 말하는 근거를 찾아보자