联邦学习

工作日志/2020年11月6日-第二次组会.md

@@ -2,6 +2,7 @@
 
 
 > 虽然我没有定义场景，但是我应该介绍每一种算法能够适应的场景，用来解决什么问题。或者解释一下机器学习算法的本质，然后再给出每一种算法的应用条件，从而确定可以解决什么问题。
+> 算法原理+应用场景
 
 
 ## 机器学习
@@ -11,4 +12,8 @@
 ## 联邦学习
 
 
-## 情报利用（这一个自己好像并没有接触很多诶，得等下一次组会了）
+## 情报利用（这一个自己好像并没有接触很多诶，得等下一次组会了）
+
+$$
+w_{t+1}\leftarrow w_t - \eta \sum_{k=1}^K \frac{n_k}{n}g_k
+$$

机器学习/吴恩达深度学习/学习笔记/Sequence_Models/序列模型和注意力机制.md

@@ -2,7 +2,7 @@
 
 ## Seq2Seq 模型
 
-* **Seq2Seq（Sequence-to-Sequence）**模型能够应用于机器翻译、语音识别等各种序列到序列的转换问题。一个 Seq2Seq 模型包含**编码器（Encoder）**和**解码器（Decoder）**两部分，它们通常是两个不同的 RNN。如下图所示，将编码器的输出作为解码器的输入，由解码器负责输出正确的翻译结果。
+* **Seq2Seq（Sequence-to-Sequence）** 模型能够应用于机器翻译、语音识别等各种序列到序列的转换问题。一个 Seq2Seq 模型包含 **编码器（Encoder）** 和 **解码器（Decoder）** 两部分，它们通常是两个不同的 RNN。如下图所示，将编码器的输出作为解码器的输入，由解码器负责输出正确的翻译结果。
 
 ![Seq2Seq](Seq2Seq.png)
 
@@ -47,7 +47,7 @@ $$arg \ max \prod^{T_y}_{t=1} P(\hat y^{⟨t⟩} | x, \hat y^{⟨1⟩}, ..., \ha
 
 ## 4 优化：长度标准化
 
-* **长度标准化（Length Normalization）**是对集束搜索算法的优化方式。对于公式
+* **长度标准化（Length Normalization）** 是对集束搜索算法的优化方式。对于公式
 
 $$arg \ max \prod^{T_y}_{t=1} P(\hat y^{⟨t⟩} | x, \hat y^{⟨1⟩}, ..., \hat y^{⟨t-1⟩})$$
 
@@ -119,7 +119,7 @@ $$Blue = BP \times exp(\frac{1}{N}\sum^N_{i=1}log^{p_n})$$
 
 * 对于一大段文字，人工翻译一般每次阅读并翻译一小部分。因为难以记忆，很难每次将一大段文字一口气翻译完。同理，用 Seq2Seq 模型建立的翻译系统，对于长句子，Blue 得分会随着输入序列长度的增加而降低。
 
-* 实际上，我们也并不希望神经网络每次去“记忆”很长一段文字，而是想让它像人工翻译一样工作。因此，**注意力模型（Attention Model）**被提出。目前，其思想已经成为深度学习领域中最有影响力的思想之一。
+* 实际上，我们也并不希望神经网络每次去“记忆”很长一段文字，而是想让它像人工翻译一样工作。因此，**注意力模型（Attention Model）** 被提出。目前，其思想已经成为深度学习领域中最有影响力的思想之一。
 
 ![Attention-Model](Attention-Model.png)