diff --git a/工作日志/2020年11月6日-第二次组会.md b/工作日志/2020年11月6日-第二次组会.md index fedef08b..d5942e10 100644 --- a/工作日志/2020年11月6日-第二次组会.md +++ b/工作日志/2020年11月6日-第二次组会.md @@ -2,6 +2,7 @@ > 虽然我没有定义场景,但是我应该介绍每一种算法能够适应的场景,用来解决什么问题。或者解释一下机器学习算法的本质,然后再给出每一种算法的应用条件,从而确定可以解决什么问题。 +> 算法原理+应用场景 ## 机器学习 @@ -11,4 +12,8 @@ ## 联邦学习 -## 情报利用(这一个自己好像并没有接触很多诶,得等下一次组会了) \ No newline at end of file +## 情报利用(这一个自己好像并没有接触很多诶,得等下一次组会了) + +$$ +w_{t+1}\leftarrow w_t - \eta \sum_{k=1}^K \frac{n_k}{n}g_k +$$ \ No newline at end of file diff --git a/机器学习/吴恩达深度学习/学习笔记/Sequence_Models/序列模型和注意力机制.md b/机器学习/吴恩达深度学习/学习笔记/Sequence_Models/序列模型和注意力机制.md index 12050652..d525f66e 100644 --- a/机器学习/吴恩达深度学习/学习笔记/Sequence_Models/序列模型和注意力机制.md +++ b/机器学习/吴恩达深度学习/学习笔记/Sequence_Models/序列模型和注意力机制.md @@ -2,7 +2,7 @@ ## Seq2Seq 模型 -* **Seq2Seq(Sequence-to-Sequence)**模型能够应用于机器翻译、语音识别等各种序列到序列的转换问题。一个 Seq2Seq 模型包含**编码器(Encoder)**和**解码器(Decoder)**两部分,它们通常是两个不同的 RNN。如下图所示,将编码器的输出作为解码器的输入,由解码器负责输出正确的翻译结果。 +* **Seq2Seq(Sequence-to-Sequence)** 模型能够应用于机器翻译、语音识别等各种序列到序列的转换问题。一个 Seq2Seq 模型包含 **编码器(Encoder)** 和 **解码器(Decoder)** 两部分,它们通常是两个不同的 RNN。如下图所示,将编码器的输出作为解码器的输入,由解码器负责输出正确的翻译结果。 ![Seq2Seq](Seq2Seq.png) @@ -47,7 +47,7 @@ $$arg \ max \prod^{T_y}_{t=1} P(\hat y^{⟨t⟩} | x, \hat y^{⟨1⟩}, ..., \ha ## 4 优化:长度标准化 -* **长度标准化(Length Normalization)**是对集束搜索算法的优化方式。对于公式 +* **长度标准化(Length Normalization)** 是对集束搜索算法的优化方式。对于公式 $$arg \ max \prod^{T_y}_{t=1} P(\hat y^{⟨t⟩} | x, \hat y^{⟨1⟩}, ..., \hat y^{⟨t-1⟩})$$ @@ -119,7 +119,7 @@ $$Blue = BP \times exp(\frac{1}{N}\sum^N_{i=1}log^{p_n})$$ * 对于一大段文字,人工翻译一般每次阅读并翻译一小部分。因为难以记忆,很难每次将一大段文字一口气翻译完。同理,用 Seq2Seq 模型建立的翻译系统,对于长句子,Blue 得分会随着输入序列长度的增加而降低。 -* 实际上,我们也并不希望神经网络每次去“记忆”很长一段文字,而是想让它像人工翻译一样工作。因此,**注意力模型(Attention Model)**被提出。目前,其思想已经成为深度学习领域中最有影响力的思想之一。 +* 实际上,我们也并不希望神经网络每次去“记忆”很长一段文字,而是想让它像人工翻译一样工作。因此,**注意力模型(Attention Model)** 被提出。目前,其思想已经成为深度学习领域中最有影响力的思想之一。 ![Attention-Model](Attention-Model.png) diff --git a/机器学习/殷康龙/机器学习算法分类.xmind b/机器学习/殷康龙/机器学习算法分类.xmind new file mode 100644 index 00000000..b4e4f604 Binary files /dev/null and b/机器学习/殷康龙/机器学习算法分类.xmind differ diff --git a/机器学习/殷康龙/联邦学习/联邦学习.xmind b/机器学习/殷康龙/联邦学习/联邦学习.xmind index 98b7c8f3..8d9f4a87 100644 Binary files a/机器学习/殷康龙/联邦学习/联邦学习.xmind and b/机器学习/殷康龙/联邦学习/联邦学习.xmind differ