[Overview] Attention 정리 - (1) LSTM

순서:

(1) LSTM

(2) seq2seq, +attention

(3) Show, Attend and Tell

---

reference: colah.github.io/posts/2015-08-Understanding-LSTMs/

 

Recurrent Neural Network

 

 

기본적인 RNN의 구조는 위와 같다. 이전의 state를 함께 input으로 주어 이전 input과의 연관성을 함께 학습해 나간다.

 

하지만 이러한 구조는, input의 길이가 길어질수록, 네트워크의 뒷부분으로 갈 수록 앞 부분의 정보를 잊어버리는 문제점이 있다.

 

 

LSTM은 이러한 문제점을 극복하기 위해 제시되었다.

 

---

Long Short Term Memory

 

The repeating module in a standard RNN contains a single layer.

The repeating module in an LSTM contains four interacting layers.

 

위는 간단한 RNN의 구조, 아래는 LSTM의 구조이다. 각 기호의 의미는 다음과 같다.

 

---

The Core Idea Behind LSTM

 

cell state

LSTM에서 핵심이 되는 아이디어는 Cell state이다. LSTM에서 Cell state의 흐름만 보면, 간단한 선형 연산만이 가해지면서 다음 state로 정보가 전달된다.

 

gate

LSTM은 gate라고 불리는 구조를 통해 다음 cell로 흐를 정보의 양을 제어한다. Sigmoid layer을 거친 값이 곱해지는 구조로 되어 있다.

Sigmoid는 0부터 1 사이의 값을 출력하므로, 이는 '얼만큼의 정보를 cell state에 전달할지'를 결정하는 역할을 한다.

예를 들어 sigmoid를 거친 값이 0이 된다면 '다음 cell로 정보를 전달하지 않음'을 의미하고,sigmoid를 거친 값이 1이 된다면 '모든 정보를 그대로 전달함'을 의미하게 된다.

 

LSTM은 3개의 gate를 포함하고 있고,  각각의 의미에 대해 알아보겠다.

 

---

Three Gates of LSTM

 

first gate

첫 번째 gate는 이전 cell state에서 다음 cell state로 전달할 정보의 양을 결정하는 역할을 한다.

이전 cell의 hidden state와 이번 cell의 input 값을 이용해 0부터 1 사이 값을 출력하고, 이를 이전 cell state에 곱해준다.

 

 

second gate

두 번째 gate는 다음 cell state에 추가할 정보를 결정하는 역할을 한다.

Tanh layer을 통해 cell state의 후보(candidate value)가 되는 값을 결정하고,sigmoid layer을 통해 이 후보 값 중 어떤 값을 얼만큼 추가할 것인지를 결정한다.두 값을 곱해 cell state에 더해준다.

 

third gate

마지막으로 hidden state 값을 결정한다. Cell state가 다음 cell로 계속 흘러가는 값이라면, hidden state는 일반적인 CNN에서와 같이 중간 layer의 output 값이다. Hidden state는 cell의 output으로 출력되기도 하고, 다음 cell로 전달되기도 한다.

두 번째 layer과 반대 과정을 거친다.

Cell state의 값을 tanh layer에 통과시켜 값을 추출하고,

sigmoid layer을 통해 어떤 값을 얼만큼 사용할 것인지를 결정한다.

두 값을 곱해 다음 hidden state의 값을 결정한다.

 

-

 

간단히 정리하면, gate에서 tanh layer은 정보를 추출하는 역할을 하고,

sigmoid layer은 사용할 정보의 양을 결정하는 역할을 하는 것 같다.