diff --git a/机器学习/吴恩达深度学习/学习笔记/Structuring_Machine_Learning_Projects/机器学习（ML）策略（1）.md b/机器学习/吴恩达深度学习/学习笔记/Structuring_Machine_Learning_Projects/机器学习（ML）策略（1）.md index 9b2073ce..b0e5efb8 100644 --- a/机器学习/吴恩达深度学习/学习笔记/Structuring_Machine_Learning_Projects/机器学习（ML）策略（1）.md +++ b/机器学习/吴恩达深度学习/学习笔记/Structuring_Machine_Learning_Projects/机器学习（ML）策略（1）.md @@ -1,12 +1,12 @@ -

机器学习（ML）策略（1）

+机器学习（ML）策略（1） -对于一个已经被构建好且产生初步结果的机器学习系统，为了能使结果更令人满意，往往还要进行大量的改进。鉴于之前的课程介绍了多种改进的方法，例如收集更多数据、调试超参数、调整神经网络的大小或结构、采用不同的优化算法、进行正则化等等，我们有可能浪费大量时间在一条错误的改进路线上。 - -想要找准改进的方向，使一个机器学习系统更快更有效地工作，就需要学习一些在构建机器学习系统时常用到的策略。 +> 对于一个已经被构建好且产生初步结果的机器学习系统，为了能使结果更令人满意，往往还要进行大量的改进。鉴于之前的课程介绍了多种改进的方法，例如收集更多数据、调试超参数、调整神经网络的大小或结构、采用不同的优化算法、进行正则化等等，我们有可能浪费大量时间在一条错误的改进路线上。想要找准改进的方向，使一个机器学习系统更快更有效地工作，就需要学习一些在构建机器学习系统时常用到的策略。 ## 正交化 - -**正交化（Orthogonalization）**的核心在于每次调整只会影响模型某一方面的性能，而对其他功能没有影响。这种方法有助于更快更有效地进行机器学习模型的调试和优化。 +正交化定义和例子 +* **正交化（Orthogonalization）** 的核心在于每次调整只会影响模型某一方面的性能，而对其他功能没有影响。这种方法有助于更快更有效地进行机器学习模型的调试和优化。 +* 电视旋钮的例子，可以用来调整宽度、高度、梯度、位置的旋钮，互相独立，互不影响。 +* 汽车行驶的例子，汽车的方向和汽车的速度分别通过方向盘与油门刹车控制，互不影响。 在机器学习（监督学习）系统中，可以划分四个“功能”： @@ -15,22 +15,21 @@ 3. 建立的模型在测试集上表现良好； 4. 建立的模型在实际应用中表现良好。 -其中， +对于不同的目的，采取不同的方法： * 对于第一条，如果模型在训练集上表现不好，可以尝试训练更大的神经网络或者换一种更好的优化算法（例如 Adam）； * 对于第二条，如果模型在验证集上表现不好，可以进行正则化处理或者加入更多训练数据； * 对于第三条，如果模型在测试集上表现不好，可以尝试使用更大的验证集进行验证； * 对于第四条，如果模型在实际应用中表现不好，可能是因为测试集没有设置正确或者成本函数评估指标有误，需要改变测试集或成本函数。 -面对遇到的各种问题，正交化能够帮助我们更为精准有效地解决问题。 - -一个反例是[早停止法（Early Stopping）](http://kyonhuang.top/Andrew-Ng-Deep-Learning-notes/#/Improving_Deep_Neural_Networks/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E7%9A%84%E5%AE%9E%E7%94%A8%E5%B1%82%E9%9D%A2?id=%e5%85%b6%e4%bb%96%e6%ad%a3%e5%88%99%e5%8c%96%e6%96%b9%e6%b3%95)。如果早期停止，虽然可以改善验证集的拟合表现，但是对训练集的拟合就不太好。因为对两个不同的“功能”都有影响，所以早停止法不具有正交化。虽然也可以使用，但是用其他正交化控制手段来进行优化会更简单有效。 +> 面对遇到的各种问题，正交化能够帮助我们更为精准有效地解决问题。一个反例是[早停止法（Early Stopping）](http://kyonhuang.top/Andrew-Ng-Deep-Learning-notes/#/Improving_Deep_Neural_Networks/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E7%9A%84%E5%AE%9E%E7%94%A8%E5%B1%82%E9%9D%A2?id=%e5%85%b6%e4%bb%96%e6%ad%a3%e5%88%99%e5%8c%96%e6%96%b9%e6%b3%95)。如果早期停止，虽然可以改善验证集的拟合表现，但是对训练集的拟合就不太好。因为对两个不同的“功能”都有影响，所以早停止法不具有正交化。虽然也可以使用，但是用其他正交化控制手段来进行优化会更简单有效。 ## 单值评价指标 -构建机器学习系统时，通过设置一个量化的**单值评价指标**（single-number evaluation metric），可以使我们根据这一指标比较不同超参数对应的模型的优劣，从而选择最优的那个模型。 +### 单评价指标的意义 +* 构建机器学习系统时，通过设置一个量化的**单值评价指标**（single-number evaluation metric），可以使我们根据这一指标比较不同超参数对应的模型的优劣，从而选择最优的那个模型。 -例如，对于二分类问题，常用的评价指标是**精确率（Precision）**和**召回率（Recall）**。假设我们有 A 和 B 两个分类器，其两项指标分别如下： +* 例如，对于二分类问题，常用的评价指标是**精确率（Precision）**和**召回率（Recall）**。假设我们有 A 和 B 两个分类器，其两项指标分别如下： | 分类器 | 精确率 | 召回率 | | :---: | :---: | :---: |