循环神经网络 (Recurrent Neural Network, RNN)

黎 浩然/ 12 11 月, 2023/ 序列模型/SEQUENCEMODEL, 机器学习/MACHINELEARNING, 研究生/POSTGRADUATE/ 0 comments

RNN有两种，Elman Network和Jordan Network，下图是Elman Network

Elman Network & Jordan Network

$$ \begin{equation}\left\{\begin{array}{lr}h^t=f(W^i\times x^t + W^h\times h^{t-1}+b^h)\ \ \text{or}\\h^t=f(W^i\times x^t + W^h\times y^{t-1}+b^h)\\y^t=g(W^o\times h^t+b^y)\end{array} \right.\end{equation} $$

Bidirectional RNN

Long Short-term Memory(LSTM)

• 每一个LSTM的记忆单元如上图所示，计算过程如下：

$$ \begin{equation}\left\{\begin{array}{lr}c’=g(z)f(z_i)+cf(z_f)\\\\ a=h(c’)f(z_o)\end{array} \right.\end{equation} $$

• 但实际上LSTM并不会直接从网络获取Signal Control，封装成以下的红色区域

• Multi-layer的LSTM结构如下：