From 30018c46de310d208ec51a8fae25416e5f7c97b5 Mon Sep 17 00:00:00 2001 From: Cheng Lai Date: Fri, 4 Mar 2022 15:28:25 +0800 Subject: [PATCH] Fix anonymous hyperlink --- appendix_machine_learning_introduction/neural_network.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/appendix_machine_learning_introduction/neural_network.md b/appendix_machine_learning_introduction/neural_network.md index ce23296..cba1433 100644 --- a/appendix_machine_learning_introduction/neural_network.md +++ b/appendix_machine_learning_introduction/neural_network.md @@ -170,7 +170,7 @@ $${h}_t = {W}[{x}_t; {h}_{t-1}] + {b}$$ :width:`600px` :label:`rnn_simple_cell2` -然而这种简单的朴素循环神经网络有严重的信息遗忘问题。比如说我们的输入是"我是中国人，我的母语是\_\_\_"，隐状态记住了"中国人"的信息，使得网络最后可以预测出"中文"一词；但是如果句子很长的时候，隐状态可能记不住太久之前的信息了，比如说"我是中国人，我去英国读书，后来在法国工作，我的母语是\_\_\_"，这时候在最后的隐状态中关于"中国人"的信息可能会被因为多次的更新而遗忘了。 +然而这种简单的朴素循环神经网络有严重的信息遗忘问题。比如说我们的输入是"我是中国人，我的母语是___"，隐状态记住了"中国人"的信息，使得网络最后可以预测出"中文"一词；但是如果句子很长的时候，隐状态可能记不住太久之前的信息了，比如说"我是中国人，我去英国读书，后来在法国工作，我的母语是___"，这时候在最后的隐状态中关于"中国人"的信息可能会被因为多次的更新而遗忘了。 为了解决这个问题，后面有人提出了各种各样的改进方法，其中最有名的是长短期记忆（Long Short-Term Memory，LSTM）。关于时序的模型还有很多很多，比如近年来出现的Transformer等等。