CS_ALearn/openmlsys-zh
1
0
Fork 0
mirror of https://github.com/openmlsys/openmlsys-zh.git synced 2026-04-10 14:18:50 +08:00
Code Issues Projects Releases Wiki Activity

Merge pull request #34 from openmlsys/Laicheng0830-patch-2

Browse Source 
Fix anonymous hyperlink
This commit is contained in:
Cheng Lai
2022-03-04 16:39:45 +08:00
committed by GitHub
parent ecc1c15cf3 30018c46de
commit 354145166d
1 changed files with 1 additions and 1 deletions
Download Patch File Download Diff File Expand all files Collapse all files

2
appendix_machine_learning_introduction/neural_network.md
View File

@@ -170,7 +170,7 @@ $${h}_t = {W}[{x}_t; {h}_{t-1}] + {b}$$
:width:`600px`
:label:`rnn_simple_cell2`
然而这种简单的朴素循环神经网络有严重的信息遗忘问题。比如说我们的输入是"我是中国人，我的母语是\_\_\_"，隐状态记住了"中国人"的信息，使得网络最后可以预测出"中文"一词；但是如果句子很长的时候，隐状态可能记不住太久之前的信息了，比如说"我是中国人，我去英国读书，后来在法国工作，我的母语是\_\_\_"，这时候在最后的隐状态中关于"中国人"的信息可能会被因为多次的更新而遗忘了。
然而这种简单的朴素循环神经网络有严重的信息遗忘问题。比如说我们的输入是"我是中国人，我的母语是___"，隐状态记住了"中国人"的信息，使得网络最后可以预测出"中文"一词；但是如果句子很长的时候，隐状态可能记不住太久之前的信息了，比如说"我是中国人，我去英国读书，后来在法国工作，我的母语是___"，这时候在最后的隐状态中关于"中国人"的信息可能会被因为多次的更新而遗忘了。
为了解决这个问题，后面有人提出了各种各样的改进方法，其中最有名的是长短期记忆（Long
Short-Term
Memory，LSTM）。关于时序的模型还有很多很多，比如近年来出现的Transformer等等。