循环序列模型

This commit is contained in:
yinkanglong_lab
2020-10-31 17:27:33 +08:00
parent 3c0ce3d926
commit 06461e978d

View File

@@ -179,7 +179,7 @@ $$c^{⟨t⟩} = Γ^{⟨t⟩}_u \times \tilde c^{⟨t⟩} + Γ^{⟨t⟩}_f \times
$$a^{⟨t⟩} = Γ_o^{⟨t⟩} \times tanh(c^{⟨t⟩})$$-->
![LSTM](https://raw.githubusercontent.com/bighuang624/Andrew-Ng-Deep-Learning-notes/master/docs/Sequence_Models/LSTM.png)
![LSTM](LSTM.png)
将多个 LSTM 单元按时间次序连接起来,就得到一个 LSTM 网络。
@@ -193,7 +193,7 @@ $c^{0}$ 常被初始化为零向量。
单向的循环神经网络在某一时刻的预测结果只能使用之前输入的序列信息。**双向循环神经网络Bidirectional RNNBRNN**可以在序列的任意位置使用之前和之后的数据。其工作原理是增加一个反向循环层,结构如下图所示:
![BRNN](https://raw.githubusercontent.com/bighuang624/Andrew-Ng-Deep-Learning-notes/master/docs/Sequence_Models/BRNN.png)
![BRNN](BRNN.png)
因此,有
@@ -205,7 +205,7 @@ $$y^{⟨t⟩} = g(W_y[\overrightarrow a^{⟨t⟩}, \overleftarrow a^{⟨t⟩}]
循环神经网络的每个时间步上也可以包含多个隐藏层,形成**深度循环神经网络Deep RNN)**。结构如下图所示:
![DRNN](https://raw.githubusercontent.com/bighuang624/Andrew-Ng-Deep-Learning-notes/master/docs/Sequence_Models/DRNN.png)
![DRNN](DRNN.png)
以 $a^{[2]⟨3⟩}$为例,有 $a^{[2]⟨3⟩} = g(W_a^{[2]}[a^{[2]⟨2⟩}, a^{[1]⟨3⟩}] + b_a^{[2]})$。