03d RNN循環神經網路 - cccbook/py2gpt GitHub Wiki

循環神經網路（Recurrent Neural Network，簡稱 RNN）是一種用於處理序列數據的神經網路，其中神經元之間的連接形成了循環。這意味着 RNN 可以利用先前的輸入來影響當前的輸出，進而處理具有時間和序列特徵的數據。

與傳統的前饋神經網路（Feedforward Neural Network，簡稱 FNN）不同，RNN 的每一個神經元都接收來自自身之前時刻的輸入，並把先前儲存的狀態傳遞給下一個時間點。這種強烈的記憶和復雜的動態特徵使得 RNN 可以應用於各種序列應用中，例如語音識別、自然語言處理、時間序列預測等。

RNN 的應用可以解決傳統神經網路所面臨的序列處理問題。以語音識別為例，語音信號通常是一系列連續的時間序列訊號，每個時間點都有一個對應的輸入向量。傳統的 FNN 處理每個時間點的輸入向量，但無法考慮多個時間輸入的連續性和關聯性，而 RNN 可以記憶之前的資訊，幫助語音識別模型做出更合理的預測。

RNN 的核心是循環層，其中包含一組神經元。循環神經網路的主要特點是循環層，循環層之間的神經元可以彼此溝通，因此它們可以利用序列中之前的信息來確定下一個輸出。

由於 RNN 中存在反向傳播算法的問題，正在被越來越多的深度學習專家開發其他類型的神經網路。這些類型包括長短記憶循環神經網路（Long Short-Term Memory Recurrent Neural Network，簡稱 LSTM）和門控循環單元神經網路（Gated Recurrent Unit，簡稱 GRU），這些神經網路解決了反向傳播算法的問題並提升了模型的性能。