[딥러닝 필기] week8. RNN (Recurrent Neural Networks)

Connections form cycles

• x_t: input at time t
• h_t: hidden state at time t
• f: is an activation function for the hidden layer (e.g. tanh)
• U, V, W: network parameters
  • RNN shares the same parameters across all steps
• g: activation function for the output layer

 

Long Term Dependency

• x_1 ~ x_(t-1) are encoded into h_(t-1)
• h_(t-1) has the information on the past 
• It is a context to process x_t

• However, it may exponentially decade or grow
• Usually it is limited to 10 steps

 

Sequential Data

• 값과 위치(순서)가 모두 중요한 정보인 데이터
  • 값만 중요하면 Non-Sequential Data 이다.

• Example
  • 순서가 있는 데이터 (x) 1, 2, 3, 4 모든 데이터는 순서가 있다.
  • 시간에 따라 생성 되는 데이터 (x) 모든 데이터는 시간에 따라 생성 된다.
  • 시간에 따라 변하는 데이터 (x) 1 2 3 4 데이터는 시간에 따라 변할 수 있다.
  • 순서가 중요한 데이터 (x) 값도 중요하다.
  • 이전 데이터가 이후 데이터에 영향을 주는 데이터 (x) 영향을 준다고 위치가 생기지 않는다.
  • 주기성이 있는 데이터 (x) 위치가 정보라고해서 주기성이 생기지 않는다.