mirror of
https://github.com/apachecn/ailearning.git
synced 2026-05-08 14:52:28 +08:00
集成方法：合并随机森林和AdaBoost
This commit is contained in:
jiangzhonglian
@@ -11,8 +11,7 @@
|
||||
* 4.) [基于概率论的分类方法：朴素贝叶斯](./docs/4.朴素贝叶斯.md)
|
||||
* 5.) [Logistic回归](./docs/5.Logistic回归.md)
|
||||
* 6.) [支持向量机](./docs/6.支持向量机.md)
|
||||
* 7.1) [利用AdaBoost元算法提高分类](./docs/7.1.利用AdaBoost元算法提高分类.md)
|
||||
* 7.2) [随机森林的使用(非课本内容)](./docs/7.2.随机森林的使用.md)
|
||||
* 7.) [集成方法-随机森林和AdaBoost](./docs/7.集成方法-随机森林和AdaBoost.md)
|
||||
|
||||
## 第二部分 利用回归预测数值型数据
|
||||
|
||||
|
||||
@@ -2,15 +2,25 @@
|
||||
|
||||
|
||||
|
||||
|
||||
## 机器学习 概述
|
||||
|
||||
`机器学习`就是把无序的数据转换成有用的信息。
|
||||
1. 获取海量的数据
|
||||
2. 从海量数据中获取有用的信息
|
||||
|
||||
|
||||
## 机器学习 场景
|
||||
|
||||
```
|
||||
例如：动物猫
|
||||
模式识别：人通过经验，得到：这个就是猫。
|
||||
机器学习：人通过大量的书籍来学习，得到：这个就是猫
|
||||
深度学习：人通过大量的书籍，然后先对书籍内容：文字／图片／视频，进行特征提取，特征强化，降维，得到：这个就是猫。
|
||||
|
||||
模式识别（Pattern recognition）: 模式识别是最古老的（作为一个术语而言，可以说是很过时的）。
|
||||
模式识别（pattern recognition）: 模式识别是最古老的（作为一个术语而言，可以说是很过时的）。
|
||||
我们把环境与客体统称为“模式”，识别是对模式的一种认知，是如何让一个计算机程序去做一些看起来很“智能”的事情。
|
||||
通过融于智慧和直觉后，通过构建程序，识别一些事物，而不是人，例如识别数字。
|
||||
通过融于智慧和直觉后，通过构建程序，识别一些事物，而不是人，例如: 识别数字。
|
||||
机器学习（machine learning）: 机器学习是最基础的（当下初创公司和研究实验室的热点领域之一）。
|
||||
在90年代初，人们开始意识到一种可以更有效地构建模式识别算法的方法，那就是用数据（可以通过廉价劳动力采集获得）去替换专家（具有很多图像方面知识的人）。
|
||||
“机器学习”强调的是，在给计算机程序（或者机器）输入一些数据后，它必须做一些事情，那就是学习这些数据，而这个学习的步骤是明确的。
|
||||
@@ -33,13 +43,8 @@ http://baike.baidu.com/link?url=76P-uA4EBrC3G-I__P1tqeO7eoDS709Kp4wYuHxc7GNkz_xn
|
||||
* 邮局邮寄，手写软件自动识别寄送贺卡的地址。
|
||||
* 申请贷款 或 进入赌场，通过你最近的金融活动信息进行综合评定，决定你是否合格。
|
||||
|
||||
## 机器学习的简单概述
|
||||
|
||||
`机器学习`就是把无序的数据转换成有用的信息；机器学习将有助于我们穿越数据雾霾，从中抽取出有用的信息。
|
||||
* 1.获取海量的数据
|
||||
* 2.从海量数据中获取有用的信息
|
||||
|
||||
## 机器学习的主要任务
|
||||
## 机器学习 主要任务
|
||||
|
||||
> 机器学习的主要任务就是分类和回归
|
||||
|
||||
@@ -49,8 +54,8 @@ http://baike.baidu.com/link?url=76P-uA4EBrC3G-I__P1tqeO7eoDS709Kp4wYuHxc7GNkz_xn
|
||||
* 目标变量是机器学习预测算法的测试结果。
|
||||
* 在分类算法中目标变量的类型通常是标称型(如：真与假)，而在回归算法中通常是连续型(如：1~100)。
|
||||
|
||||
* 机器学习的训练过程
|
||||
* 
|
||||
* 机器学习的训练过程<br/>
|
||||
|
||||
|
||||
> 监督学习
|
||||
|
||||
@@ -61,9 +66,9 @@ http://baike.baidu.com/link?url=76P-uA4EBrC3G-I__P1tqeO7eoDS709Kp4wYuHxc7GNkz_xn
|
||||
* 特征(feature-是否有缺失情况) + 目标变量(分类-离散值<A/B/C、 是/否>/回归-连续值<0~100、 -999～999>)
|
||||
* 特征或者属性通常是训练样本集的列，它们是独立测量得到的结果，多个特征联系在一起共同组成一个训练样本。
|
||||
* `知识表示`：(例如-机器已经学会如何识别鸟类的过程)
|
||||
* 1.可以采用规则集的形式【例如：数学成绩大于90分为优秀】
|
||||
* 2.可以采用概率分布的形式【例如：通过统计分布发现，90%的同学数学成绩，在70分以下，那么大于70分定为优秀】
|
||||
* 3.可以使用训练样本集中的一个实例【例如：通过样本集合，我们训练出一个模型实例，得出 年轻，数学成绩中高等，谈吐优雅，我们认为是优秀】
|
||||
1. 可以采用规则集的形式【例如：数学成绩大于90分为优秀】
|
||||
2. 可以采用概率分布的形式【例如：通过统计分布发现，90%的同学数学成绩，在70分以下，那么大于70分定为优秀】
|
||||
3. 可以使用训练样本集中的一个实例【例如：通过样本集合，我们训练出一个模型实例，得出 年轻，数学成绩中高等，谈吐优雅，我们认为是优秀】
|
||||
|
||||
> 非监督学习
|
||||
|
||||
@@ -76,17 +81,22 @@ http://baike.baidu.com/link?url=76P-uA4EBrC3G-I__P1tqeO7eoDS709Kp4wYuHxc7GNkz_xn
|
||||
|
||||
|
||||
|
||||
## 学习机器学习
|
||||
|
||||
* 选择算法需要考虑的两个问题
|
||||
* 使用机器学习算法的目的
|
||||
* 想要完成何种任务，比如是预测明天下雨的概率还是对投票者按照兴趣分组；如果想要预测目标变量的值，则可以选择监督学习算法，否则可以选择无监督学习算法。
|
||||
* 需要分析或收集的数据是什么
|
||||
* 举例
|
||||
* 
|
||||
## 机器学习 学习
|
||||
|
||||
> 选择算法需要考虑的两个问题
|
||||
|
||||
1. 使用机器学习算法的目的
|
||||
* 想要完成何种任务，比如是预测明天下雨的概率还是对投票者按照兴趣分组；如果想要预测目标变量的值，则可以选择监督学习算法，否则可以选择无监督学习算法。
|
||||
2. 需要分析或收集的数据是什么
|
||||
|
||||
> 举例
|
||||
|
||||
|
||||
|
||||
> 机器学习 开发步骤
|
||||
|
||||
```
|
||||
开发机器学习应用程序的步骤
|
||||
* 收集数据: 收集样本数据
|
||||
* 准备数据: 注意数据的格式
|
||||
* 分析数据: 为了确保数据集中没有垃圾数据；
|
||||
@@ -97,7 +107,8 @@ http://baike.baidu.com/link?url=76P-uA4EBrC3G-I__P1tqeO7eoDS709Kp4wYuHxc7GNkz_xn
|
||||
* 使用算法: 将机器学习算法转为应用程序
|
||||
```
|
||||
|
||||
## Python语言的优势
|
||||
|
||||
## Python语言 优势
|
||||
|
||||
1. 可执行伪代码
|
||||
2. Python比较流行：使用广泛、代码范例多、丰富模块库，开发周期短
|
||||
@@ -107,6 +118,7 @@ http://baike.baidu.com/link?url=76P-uA4EBrC3G-I__P1tqeO7eoDS709Kp4wYuHxc7GNkz_xn
|
||||
* 科学函数库：`SciPy`、`NumPy`(底层语言：C和Fortran)
|
||||
* 绘图工具库：`Matplotlib`
|
||||
|
||||
|
||||
* * *
|
||||
|
||||
* **作者：[片刻](http://www.apache.wiki/display/~jiangzhonglian) [1988](http://www.apache.wiki/display/~lihuisong)**
|
||||
|
||||
@@ -1,137 +0,0 @@
|
||||
# 第7.1章 利用AdaBoost元算法提高分类
|
||||
|
||||
|
||||
|
||||
## 组合相似的分类器来提高分类性能
|
||||
|
||||
> 元算法(meta-algorithm) 或 集成方法(ensemble method)
|
||||
|
||||
* 概念：是对其他算法进行组合的一种形式。
|
||||
* 通俗来说： 当做重要决定时，大家可能都会考虑吸取多个专家而不只是一个人的意见。
|
||||
机器学习处理问题时又何尝不是如此？ 这就是元算法(meta-algorithm)背后的思想。
|
||||
* 集成方法： 1. 投票选举(bagging) 2. 再学习(boosting)
|
||||
|
||||
> bagging：基于数据随机重抽样的分类器构造方法
|
||||
|
||||
* 自举汇聚法(bootstrap aggregating)，也称为bagging方法，是在从原始数据集选择S次后得到S个新数据集的一种技术。
|
||||
1. 新数据集和原数据集的大小相等。
|
||||
2. 每个数据集都是通过在原始数据集中随机选择一个样本来进行替换(替换：意味着可以多次选择同一个样本，也就有重复值)而得到的。
|
||||
3. 该算法作用的数据集就会得到S个分类器，与此同时，选择分类器投票结果中最多的类别作为最后的分类结果。
|
||||
4. 例如：随机森林(random forest)
|
||||
* 选帅哥：美女选择择偶对象的时候，会问几个闺蜜的建议，最后选择一个综合得分最高的一个作为男朋友
|
||||
|
||||
> boosting：是基于所有分类器的加权求和的方法
|
||||
|
||||
* boosting是一种与bagging很类似的技术。
|
||||
* 不过boosting分类的结果是基于所有分类器的加权求和结果的。不论是boosting还是bagging当中，所使用的多个分类器的类型都是一致的。
|
||||
* 目前boosting方法最流行的版本是： AdaBoost。
|
||||
* 追美女：第1个帅哥失败->(传授经验：姓名、家庭情况) 第2个帅哥失败->(传授经验：兴趣爱好、性格特点) 第3个帅哥成功
|
||||
|
||||
> bagging 和 boosting 区别是什么？
|
||||
|
||||
1. bagging：不同的分类器是通过串形训练而获得的，每个新分类器斗根据已训练出的分类器的性能来进行训练。
|
||||
2. boosting：是通过集中关注被已有分类器错分的那些数据来获得新的分类器。
|
||||
3. 由于 boosting 分类的结果是基于所有分类器的加权求和结果的，因此 boosting 与 bagging 不太一样。
|
||||
4. bagging 中的分类器权重是相等的，而 boosting 中的分类器权重并不相等，每个权重代表的是其对应分类器在上一轮迭代中的成功度。
|
||||
|
||||
## 应用 AdaBoost 算法
|
||||
|
||||
> AdaBoost(adaptive boosting: 自适应boosting)
|
||||
|
||||
```
|
||||
能否使用弱分类器和多个实例来构建一个强分类器？ 这是一个非常有趣的理论问题。
|
||||
|
||||
* 优点：泛化（由具体的、个别的扩大为一般的，就是说：模型训练完后的新样本）错误率低，易编码，可以应用在大部分分类器上，无参数调节。
|
||||
* 缺点：对离群点敏感。
|
||||
* 适用数据类型：数值型和标称型数据。
|
||||
```
|
||||
|
||||
> AdaBoost 的一般流程
|
||||
|
||||
```
|
||||
收集数据：可以使用任意方法
|
||||
准备数据：依赖于所使用的弱分类器类型，本章使用的是单层决策树，这种分类器可以处理任何数据类型。
|
||||
当然也可以使用任意分类器作为弱分类器，第2章到第6章中的任一分类器都可以充当弱分类器。
|
||||
作为弱分类器，简单分类器的效果更好。
|
||||
分析数据：可以使用任意方法。
|
||||
训练数据：AdaBoost 的大部分时间都用在训练上，分类器将多次在同一数据集上训练弱分类器。
|
||||
测试数据：计算分类的错误率。
|
||||
使用算法：通SVM一样，AdaBoost 预测两个类别中的一个。如果想把它应用到多个类别的场景，那么就要像多类 SVM 中的做法一样对 AdaBoost 进行修改。
|
||||
```
|
||||
|
||||
* 训练算法： 基于错误提升分类器的性能
|
||||
* 基于单层决策树构建弱分类器
|
||||
* 单层决策树(decision stump, 也称决策树桩)是一种简单的决策树。
|
||||
* 过拟合(overfitting, 也称为过学习)
|
||||
* 发现测试错误率在达到一个最小值之后有开始上升，这种现象称为过拟合。
|
||||
* 
|
||||
|
||||
> AdaBoost的算法示意图
|
||||
|
||||
|
||||
|
||||
> 训练算法：基于错误提升分类器的性能
|
||||
|
||||
```
|
||||
发现：
|
||||
alpha 目的主要是计算每一个分类器实例的权重(组合就是分类结果)
|
||||
分类的权重值：最大的值= alpha 的加和，最小值=-最大值
|
||||
D 的目的是为了计算错误概率： weightedError = D.T*errArr，求最佳分类器
|
||||
特征的权重值：如果一个值误判的几率越小，那么 D 的特征权重越少
|
||||
```
|
||||
|
||||
|
||||
|
||||
## 完整 AdaBoost 算法的实现
|
||||
|
||||
整个实现的伪代码如下：
|
||||
|
||||
```
|
||||
对每次迭代：
|
||||
利用buildStump()函数找到最佳的单层决策树
|
||||
将最佳单层决策树加入到单层决策树数组
|
||||
计算alpha
|
||||
计算新的权重向量D
|
||||
更新累计类别估计值
|
||||
如果错误率等于0.0，则退出循环
|
||||
```
|
||||
|
||||
|
||||
|
||||
## 处理非均衡分类问题
|
||||
|
||||
> 概念
|
||||
|
||||
在分类器训练时，正例数目和反例数目不相等（相差很大）
|
||||
|
||||
> 非均衡现象：
|
||||
|
||||
* 判断马是否能继续生存(不可误杀)
|
||||
* 过滤垃圾邮件(不可漏判)
|
||||
* 不能放过传染病的人
|
||||
* 不能随便认为别人犯罪
|
||||
|
||||
> ROC评估方法
|
||||
|
||||
* ROC曲线: 最佳的分类器应该尽可能地处于左上角
|
||||
* 
|
||||
* 对不同的ROC曲线进行比较的一个指标是曲线下的面积(Area Unser the Curve, AUC).
|
||||
* AUC给出的是分类器的平均性能值，当然它并不能完全代替对整条曲线的观察。
|
||||
* 一个完美分类器的AUC为1，而随机猜测的AUC则为0.5。
|
||||
|
||||
> 代价函数
|
||||
|
||||
* 基于代价函数的分类器决策控制：`TP*(-5)+FN*1+FP*50+TN*0`
|
||||
* 
|
||||
|
||||
> 抽样
|
||||
|
||||
* 欠抽样(undersampling)或者过抽样(oversampling)
|
||||
* 欠抽样: 意味着删除样例
|
||||
* 过抽样: 意味着复制样例(重复使用)
|
||||
|
||||
* * *
|
||||
|
||||
* **作者：[片刻](http://www.apache.wiki/display/~jiangzhonglian)**
|
||||
* [GitHub地址](https://github.com/apachecn/MachineLearning): <https://github.com/apachecn/MachineLearning>
|
||||
* **版权声明：欢迎转载学习 => 请标注信息来源于 [ApacheCN](http://www.apachecn.org/)**
|
||||
@@ -1,38 +0,0 @@
|
||||
# 第7.2章 随机森林的使用(个人补充，非课本内容)
|
||||
|
||||
## 基本介绍
|
||||
|
||||
* 随机森林指的是利用多棵树对样本进行训练并预测的一种分类器。
|
||||
* 决策树相当于一个大师，通过自己在数据集中学到的知识对于新的数据进行分类。但是俗话说得好，一个诸葛亮，玩不过三个臭皮匠。随机森林就是希望构建多个臭皮匠，希望最终的分类效果能够超过单个大师的一种算法。
|
||||
|
||||
## 构造流程
|
||||
|
||||
* 那随机森林具体如何构建呢？有两个方面：数据的随机性选取，以及待选特征的随机选取。
|
||||
|
||||
> 数据的随机选取：
|
||||
|
||||
```
|
||||
首先，从原始的数据集中采取有放回的抽样，构造子数据集，子数据集的数据量是和原始数据集相同的。不同子数据集的元素可以重复，同一个子数据集中的元素也可以重复。
|
||||
第二，利用子数据集来构建子决策树，将这个数据放到每个子决策树中，每个子决策树输出一个结果。
|
||||
最后，如果有了新的数据需要通过随机森林得到分类结果，就可以通过对子决策树的判断结果的投票，得到随机森林的输出结果了。
|
||||
如下图，假设随机森林中有3棵子决策树，2棵子树的分类结果是A类，1棵子树的分类结果是B类，那么随机森林的分类结果就是A类。
|
||||
```
|
||||
|
||||
|
||||
> 待选特征的随机选取
|
||||
|
||||
```
|
||||
与数据集的随机选取类似，随机森林中的子树的每一个分裂过程并未用到所有的待选特征，而是从所有的待选特征中随机选取一定的特征，之后再在随机选取的特征中选取最优的特征。这样能够使得随机森林中的决策树都能够彼此不同，提升系统的多样性，从而提升分类性能。
|
||||
下图中，蓝色的方块代表所有可以被选择的特征，也就是目前的待选特征。黄色的方块是分裂特征。左边是一棵决策树的特征选取过程，通过在待选特征中选取最优的分裂特征（别忘了前文提到的ID3算法，C4.5算法，CART算法等等），完成分裂。右边是一个随机森林中的子树的特征选取过程。
|
||||
```
|
||||
|
||||
|
||||
> 随机森林-流程图
|
||||
|
||||
|
||||
|
||||
* * *
|
||||
|
||||
* **作者：[片刻](http://www.apache.wiki/display/~jiangzhonglian)**
|
||||
* [GitHub地址](https://github.com/apachecn/MachineLearning): <https://github.com/apachecn/MachineLearning>
|
||||
* **版权声明：欢迎转载学习 => 请标注信息来源于 [ApacheCN](http://www.apachecn.org/)**
|
||||
163
docs/7.集成方法-随机森林和AdaBoost.md
Normal file
163
docs/7.集成方法-随机森林和AdaBoost.md
Normal file
@@ -0,0 +1,163 @@
|
||||
# 第7章 集成方法 ensemble method
|
||||
|
||||
|
||||
|
||||
## 集成方法: ensemble method（元算法: meta algorithm） 概述
|
||||
|
||||
* 概念：是对其他算法进行组合的一种形式。
|
||||
* 通俗来说： 当做重要决定时，大家可能都会考虑吸取多个专家而不只是一个人的意见。
|
||||
机器学习处理问题时又何尝不是如此？ 这就是元算法(meta-algorithm)背后的思想。
|
||||
|
||||
* 集成方法：
|
||||
1. 投票选举(bagging: 自举汇聚法 bootstrap aggregating): 是基于数据随机重抽样的分类器构造方法
|
||||
2. 再学习(boosting): 是基于所有分类器的加权求和的方法
|
||||
|
||||
> bagging 和 boosting 区别是什么？
|
||||
|
||||
1. bagging 是一种与 boosting 很类似的技术, 所使用的多个分类器的类型（数据量和特征量）都是一致的。
|
||||
2. bagging 是由不同的分类器（1.数据随机的 2.特征随机的）训练，综合得出的出现最多分类结果；boosting 是通过调整已有分类器错分的那些数据来获得新的分类器，得出目前最优的结果。
|
||||
3. bagging 中的分类器权重是相等的；而 boosting 中的分类器加权求和，所以权重并不相等，每个权重代表的是其对应分类器在上一轮迭代中的成功度。
|
||||
|
||||
|
||||
## 集成方法 场景
|
||||
|
||||
目前 bagging 方法最流行的版本是: 随机森林(random forest)
|
||||
选帅哥：美女选择择偶对象的时候，会问几个闺蜜的建议，最后选择一个综合得分最高的一个作为男朋友
|
||||
|
||||
目前 boosting 方法最流行的版本是: AdaBoost
|
||||
追美女：第1个帅哥失败->(传授经验：姓名、家庭情况) 第2个帅哥失败->(传授经验：兴趣爱好、性格特点) 第3个帅哥成功
|
||||
|
||||
|
||||
## 随机森林
|
||||
|
||||
### 随机森林 概述
|
||||
|
||||
* 随机森林指的是利用多棵树对样本进行训练并预测的一种分类器。
|
||||
* 决策树相当于一个大师，通过自己在数据集中学到的知识用于新数据的分类。但是俗话说得好，一个诸葛亮，玩不过三个臭皮匠。随机森林就是希望构建多个臭皮匠，希望最终的分类效果能够超过单个大师的一种算法。
|
||||
|
||||
### 随机森林 原理
|
||||
|
||||
那随机森林具体如何构建呢？<br/>
|
||||
有两个方面：<br/>
|
||||
1. 数据的随机性化<br/>
|
||||
2. 待选特征的随机化<br/>
|
||||
|
||||
使得随机森林中的决策树都能够彼此不同，提升系统的多样性，从而提升分类性能。
|
||||
|
||||
> 数据的随机化：使得随机森林中的决策树更普遍化一点，适合更多的场景。
|
||||
|
||||
1. 采取有放回的抽样方式 构造子数据集，保证不同子集之间的数量级一样（不同子集／同一子集 之间的元素可以重复）
|
||||
2. 利用子数据集来构建子决策树，将这个数据放到每个子决策树中，每个子决策树输出一个结果。
|
||||
3. 然后统计子决策树的投票结果，得到最终的分类 就是 随机森林的输出结果。
|
||||
4. 如下图，假设随机森林中有3棵子决策树，2棵子树的分类结果是A类，1棵子树的分类结果是B类，那么随机森林的分类结果就是A类。
|
||||
|
||||
|
||||
|
||||
> 待选特征的随机化
|
||||
|
||||
1. 子树从所有的待选特征中随机选取一定的特征。
|
||||
2. 在选取的特征中选取最优的特征。
|
||||
|
||||
下图中，蓝色的方块代表所有可以被选择的特征，也就是目前的待选特征；黄色的方块是分裂特征。<br/>
|
||||
左边是一棵决策树的特征选取过程，通过在待选特征中选取最优的分裂特征（别忘了前文提到的ID3算法，C4.5算法，CART算法等等），完成分裂。<br/>
|
||||
右边是一个随机森林中的子树的特征选取过程。<br/>
|
||||
|
||||
|
||||
|
||||
### 项目实战: 随机森林
|
||||
|
||||
|
||||
|
||||
|
||||
## AdaBoost
|
||||
|
||||
### AdaBoost (adaptive boosting: 自适应 boosting) 概述
|
||||
|
||||
`能否使用弱分类器和多个实例来构建一个强分类器？ 这是一个非常有趣的理论问题。`
|
||||
|
||||
### AdaBoost 原理
|
||||
|
||||
> AdaBoost 工作原理
|
||||
|
||||
|
||||
|
||||
> AdaBoost 一般流程
|
||||
|
||||
```
|
||||
收集数据：可以使用任意方法
|
||||
准备数据：依赖于所使用的弱分类器类型，本章使用的是单层决策树，这种分类器可以处理任何数据类型。
|
||||
当然也可以使用任意分类器作为弱分类器，第2章到第6章中的任一分类器都可以充当弱分类器。
|
||||
作为弱分类器，简单分类器的效果更好。
|
||||
分析数据：可以使用任意方法。
|
||||
训练数据：AdaBoost 的大部分时间都用在训练上，分类器将多次在同一数据集上训练弱分类器。
|
||||
测试数据：计算分类的错误率。
|
||||
使用算法：通SVM一样，AdaBoost 预测两个类别中的一个。如果想把它应用到多个类别的场景，那么就要像多类 SVM 中的做法一样对 AdaBoost 进行修改。
|
||||
```
|
||||
|
||||
> AdaBoost 算法特点
|
||||
|
||||
```
|
||||
* 优点：泛化（由具体的、个别的扩大为一般的）错误率低，易编码，可以应用在大部分分类器上，无参数调节。
|
||||
* 缺点：对离群点敏感。
|
||||
* 适用数据类型：数值型和标称型数据。
|
||||
```
|
||||
|
||||
### 项目实战: 马疝病的预测
|
||||
|
||||
|
||||
|
||||
* 基于单层决策树构建弱分类器
|
||||
* 单层决策树(decision stump, 也称决策树桩)是一种简单的决策树。
|
||||
* 过拟合(overfitting, 也称为过学习)
|
||||
* 发现测试错误率在达到一个最小值之后有开始上升，这种现象称为过拟合。
|
||||
|
||||
|
||||
|
||||
> 训练算法：基于错误提升分类器的性能
|
||||
|
||||
```
|
||||
发现：
|
||||
alpha 目的主要是计算每一个分类器实例的权重(组合就是分类结果)
|
||||
分类的权重值：最大的值= alpha 的加和，最小值=-最大值
|
||||
D 的目的是为了计算错误概率： weightedError = D.T*errArr，求最佳分类器
|
||||
特征的权重值：如果一个值误判的几率越小，那么 D 的特征权重越少
|
||||
```
|
||||
|
||||
|
||||
|
||||
### 优化评估: 处理非均衡分类问题
|
||||
|
||||
`在分类器训练时，正例数目和反例数目不相等（相差很大）`
|
||||
|
||||
> 非均衡现象：
|
||||
|
||||
* 判断马是否能继续生存(不可误杀)
|
||||
* 过滤垃圾邮件(不可漏判)
|
||||
* 不能放过传染病的人
|
||||
* 不能随便认为别人犯罪
|
||||
|
||||
> ROC 评估方法
|
||||
|
||||
* ROC 曲线: 最佳的分类器应该尽可能地处于左上角
|
||||
* 
|
||||
* 对不同的 ROC 曲线进行比较的一个指标是曲线下的面积(Area Unser the Curve, AUC).
|
||||
* AUC 给出的是分类器的平均性能值，当然它并不能完全代替对整条曲线的观察。
|
||||
* 一个完美分类器的 AUC 为1，而随机猜测的 AUC 则为0.5。
|
||||
|
||||
> 代价函数
|
||||
|
||||
* 基于代价函数的分类器决策控制：`TP*(-5)+FN*1+FP*50+TN*0`
|
||||
|
||||
|
||||
|
||||
> 抽样
|
||||
|
||||
* 欠抽样(undersampling)或者过抽样(oversampling)
|
||||
* 欠抽样: 意味着删除样例
|
||||
* 过抽样: 意味着复制样例(重复使用)
|
||||
|
||||
* * *
|
||||
|
||||
* **作者：[片刻](http://www.apache.wiki/display/~jiangzhonglian)**
|
||||
* [GitHub地址](https://github.com/apachecn/MachineLearning): <https://github.com/apachecn/MachineLearning>
|
||||
* **版权声明：欢迎转载学习 => 请标注信息来源于 [ApacheCN](http://www.apachecn.org/)**
|
||||
Reference in New Issue
Block a user