[딥러닝 필기] week8. CNN Basics: CNN Structure

Convolution Layer와 Fully Connected Feature Map의 연결방법

Flatten

• 각 채널의 셀을 한줄로 세워서 한줄로 합친다. 
  • ex) 7 X 7 X 512 -> (7 X 7 X 512) X1
• 정보 손실이 없다.
• 연산을 Convlution이후에 많이 하는 구조

Gap

• 각 채널의 평균값을 한줄로 나열한다.
  • ex) 7 X 7 X 512 -> (512) X 1
• 평균으로 나타내면서 정보 손실이 있다.
• 연산을 Convolution에서 많이 하는 구조

 

Resnet

• Paper: Deep Residual Learning for Image Recognition
• Link: https://arxiv.org/abs/1512.03385
• idea:
  • 입력값 x를 몇 Layer 이후에 더해준다.

• '/2' 의 의미는 stride 2라는 의미 이다.
  • 이떄, residual을 하기에 size가 맞지 않는데, 이전 conv 값에 1X1Xchanel 마스크로 stride2해준다.

 

Depthwise convolution

• Depthwise Separable convolution

• xception

• Depthwise Convolution: Spatial Correlation
• Pointwise Convolution : Channel Correlation