DataScience/DeepLearning

[딥러닝 필기] week6. Deep Learning-Various Technique: Dropout

neopin 2022. 3. 27. 16:16

Dropout

  • In a Complex Neural Newwork
    • All Nodes do not take the same amount of respsibility
    • All Nodes are not equally trained
    • 학습 시키다 안시키다를 반복해?
  • 사전에 정해진 P (Drop out Porbability) (1-P: Retain Probability)
    • 매 Epoch 마다 랜덤하게 P만큼 뺴버리자!
    • Weight Decay는 잘 되는 애들을 가지고 계속 해네자.
    • 랜덤하게 고르면서 균등하게 학습하는 것을 Drop out 이라 한다.
    • Complex가 낮은 노드들이 학습되는 효과가 있다.
  • Testing
    • Test 할 때는 모든 노드를 다쓰기 떄문에 Train 할 때와 net값이 다르다.
    • Testi 할 때는 net을 구할 떄 각각의 weight에 (1-P)%를 곱하여 평균의 효과를 내준다.
    • 여러 모델을 만들어서 앙상블 하는 것과 같은 효과가 있다.
  • The effect of the dropout rate p
    • Traing 에러는 감소하는데 Test 에러는 어느정도 가다가 증가한다.
    • 오버피팅을 막는효과를 보여주지만 p가 커지면 결국 오버피팅 된다.
  • The effect of data set size:
    • 데이터가 클 경우에는 drop out을 안해도 되더라..
    • middle size 일 떄는 regularization 정규화 하는게 좋다.
    • 데이터가 적을 경우에는 regularization 안하는게 좋다.
  • Summary
    • 빠른 regularization 방법이다.
    • 학습시간이 길어진다.
    • 데이터가 많으면 안써도 괜춘하다.
    • Weight Decay 방식보다는 좋은 성능을 보였지만, 성능은 상황에 따라 다를 것이다.