Dropout
- In a Complex Neural Newwork
- All Nodes do not take the same amount of respsibility
- All Nodes are not equally trained
- 학습 시키다 안시키다를 반복해?
- 사전에 정해진 P (Drop out Porbability) (1-P: Retain Probability)
- 매 Epoch 마다 랜덤하게 P만큼 뺴버리자!
- Weight Decay는 잘 되는 애들을 가지고 계속 해네자.
- 랜덤하게 고르면서 균등하게 학습하는 것을 Drop out 이라 한다.
- Complex가 낮은 노드들이 학습되는 효과가 있다.
- Testing
- Test 할 때는 모든 노드를 다쓰기 떄문에 Train 할 때와 net값이 다르다.
- Testi 할 때는 net을 구할 떄 각각의 weight에 (1-P)%를 곱하여 평균의 효과를 내준다.
- 여러 모델을 만들어서 앙상블 하는 것과 같은 효과가 있다.
- The effect of the dropout rate p
- Traing 에러는 감소하는데 Test 에러는 어느정도 가다가 증가한다.
- 오버피팅을 막는효과를 보여주지만 p가 커지면 결국 오버피팅 된다.
- The effect of data set size:
- 데이터가 클 경우에는 drop out을 안해도 되더라..
- middle size 일 떄는 regularization 정규화 하는게 좋다.
- 데이터가 적을 경우에는 regularization 안하는게 좋다.
- Summary
- 빠른 regularization 방법이다.
- 학습시간이 길어진다.
- 데이터가 많으면 안써도 괜춘하다.
- Weight Decay 방식보다는 좋은 성능을 보였지만, 성능은 상황에 따라 다를 것이다.
'DataScience > DeepLearning' 카테고리의 다른 글
[딥러닝 필기] week6. CNN Basics: Convolution (0) | 2022.03.27 |
---|---|
[딥러닝 필기] week6. Deep Learning-Various Technique: Batch Normalization (0) | 2022.03.27 |
[딥러닝 필기] week3. Neural Networks - Learning Algorithm (0) | 2022.03.05 |
[딥러닝 필기] week2. Neural Networks Overview (0) | 2022.03.01 |
[딥러닝 필기] week1. Machine Learning Basics (0) | 2022.02.24 |