05 Recurrent Neural Networks - PAI-yoonsung/lstm-paper GitHub Wiki

Recurrent neural networks (RNNs) [74, 75] are dynamic systems; they have an internal state at each time step of the classification.

Recurrent neural networks(RNNs)는 동적 시스템으로, 분류의 각 타임 스탭마다 내부 상태를 갖고있다.

This is due to circular connections between higher- and lower-layer neurons and optional self-feedback connections.

이것은 더 높고, 더 낮은 레이어의 뉴런들 사이의 순환 연결과 선택적 자기응답 연결 때문이다
순환 연결
자기응답 연결

These feedback connections enable RNNs to propagate data from earlier events to current processing steps.

이러한 응답 연결들은 RNN 이 이전의 이벤트로부터 현재의 진행 단계로 데이터를 전달할 수 있도록 해준다.

Thus, RNNs build a memory of time series events.

즉, RNN은 시계열 이벤트의 메모리를 만든다.

5.1 Basic Architecture

RNNs range from partly to fully connected, and two simple RNNs are suggested by [46] and [16].

RNN 의 일부 연결에서 fully connected 까지의 범위를 갖고, 두 가지 간단한 RNN이 [46], [16] 에서 제안된다.

The Elman network is similar to a three-layer neural network, but additionally, the outputs of the hidden layer are saved in so-called ‘context cells’.

Elman 네트워크는 3 레이어 신경망과 비슷하지만, 추가적으로 히든 레이어의 출력들은 문맥 셀(context cells) 이라고 불리는 곳에 저장된다.

The output of a context cell is circularly fed back to the hidden neuron along with the originating signal.

문맥 셀의 출력은 순환적으로 히든 뉴런에게 원본 신호와 함께 응답을 준다.

Every hidden neuron has its own context cell and receives input both from the input layer and the context cells.

각 히든 뉴런들은 각자 고유의 문맥셀을 갖고, 입력 레이어와 컨텍스트셀들로부터 입력을 받는다.

Elman networks can be trained with standard error backpropagation, the output from the context cells being simply regarded as an additional input.

Elman 네트워크는 일반적인 에러 역전파로 훈련될 수 있고, 문맥셀로부터의 출력은 단순히 추가적인 입력으로써 인식된다.

Figures 5 and 6 show a standard feed-forward network in comparison with such an Elman network.

그림 5, 6은 Elman 네트워크와 일반적인 순전파 네트워크의 비교를 보여준다.

Figure 7: This figure shows a partially recurrent neural network with selffeedback in the hidden layer.

이 그림은 히든 레이어 안에 부분 순환신경망을 보여줍니다.

Jordan networks have a similar structure to Elman networks, but the context cells are instead fed by the output layer.

Jordan 네트워크는 Elman 네트워크와 비슷한 구조를 갖지만, 문맥셀이 출력 레이어에 의해 응답을 받습니다.

A partial recurrent neural network with a fully connected recurrent hidden layer is shown in Figure 7.

완전 연결 순환 히든 레이어가 있는 부분 순환 신경망은 Figure 7에 나와있습니다.

Figure 8 shows a fully connected RNN.

Figure 8 은 완전 연결 RNN 을 보여줍니다.

RNNs need to be trained differently to the feed-forward neural networks (FFNNs) described in Section 4.

RNN은 Section 4에 나와있듯이, 피드포워드 신경망과는 다르게 훈련되어야할 필요가 있습니다.

This is because, for RNNs, we need to propagate information through the recurrent connections in-between steps.

왜냐하면, RNN은 정보를 반복 스탭 중에 순환 연결을 통해 전달해야되기 때문입니다.

The most common and well-documented learning algorithms for training RNNs in temporal, supervised learning tasks are backpropagation through time (BPTT) and real-time recurrent learning (RTRL).

현 시점의 지도 학습 알고리즘에서 RNN 을 학습시키기 위한 가장 일반적이고 문서화가 잘된 알고리즘은 backpropagation through time (BPTT) 과 real-time recurrent learning (RTRL) 입니다.

In BPTT, the network is unfolded in time to construct an FFNN.

BPTT(역전파) 에서는 네트워크를 제때 펼쳐 순전파 신경망을 구성합니다.

Then, the generalised delta rule is applied to update the weights.

그러고나면, 가중치를 갱신하기 위해 일반화된 델타 룰(?) 을 적용시킵니다.

This is an offline learning algorithm in the sense that we first collect the data and then build the model from the system.

이것은 오프라인 학습 알고리즘으로, 데이터를 먼저 모은 다음 시스템에서 모델을 만들게 됩니다.

In RTRL, the gradient information is forward propagated.

RTRL(실시간 순환 학습) 은 경사 정보가 전방으로 전달됩니다.

Here, the data is collected online from the Figure 8: This figure shows a fully recurrent neural network (RNN) with selffeedback connections.

여기서, 데이터는 Figure 8 에서 온라인으로 모이게 됩니다. 이 그림은 자기 응답 연결이 있는 완전 순환 신경망을 보여줍니다.

system and the model is learned during collection.

시스템과 모델은 수집 중에 학습됩니다.

Therefore, RTRL is an online learning algorithm.

그러므로, RTRL 은 온라인 학습 알고리즘입니다.