RNN遞歸神經網絡的出現
對於神經網絡來識別句子中的名詞，僅將單詞作為輸入根本沒有幫助。在單詞的上下文中存在很多信息，這些信息只能通過查看給定單詞附近的單詞來確定。傳統的多分類神經網絡根本沒法實現
將研究整個序列以確定輸出。此處是遞歸神經網絡（RNN）的用途
當RNN遍歷輸入序列時，每個輸入的輸出也將成為該序列下一項輸入的一部分，其中輸入項目的先前輸出成為當前輸入的一部分，當前輸入包括序列中的當前項目和最後一個輸出。一遍又一遍地完成時，最後的輸出將是所有先前輸入和最後一個輸入的結果。
LSTM長短期記憶神經網絡的出現
RNN非常適合序列分類問題，之所以如此擅長，是因為它們能夠保留來自先前輸入的重要數據，並使用該信息來修改當前輸出。如果序列很長，則在訓練（反向傳播）期間計算出的梯度（為調整網絡而計算出的值）會消失（許多0
LSTM是一種RNN體系結構，它解決了長序列訓練和保留內存的問題。LSTM通過引入更多的門來控制對單元狀態的訪問來解決梯度問題。
後面會給出實際案例加深理解
分享到:
閱讀更多 公子小悅 的文章
