From 48a345d9eff018f346afb052ce1629812ed503eb Mon Sep 17 00:00:00 2001 From: jiangzhonglian Date: Thu, 17 Aug 2017 13:56:58 +0800 Subject: [PATCH] =?UTF-8?q?=E6=9B=B4=E6=96=B0=207.=E9=9B=86=E6=88=90?= =?UTF-8?q?=E6=96=B9=E6=B3=95md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- docs/7.集成方法-随机森林和AdaBoost.md | 25 ++++++++++++++----------- 1 file changed, 14 insertions(+), 11 deletions(-) diff --git a/docs/7.集成方法-随机森林和AdaBoost.md b/docs/7.集成方法-随机森林和AdaBoost.md index 2df1e7a1..17d75418 100644 --- a/docs/7.集成方法-随机森林和AdaBoost.md +++ b/docs/7.集成方法-随机森林和AdaBoost.md @@ -104,17 +104,10 @@ ### 项目实战: 马疝病的预测 +> 项目流程图 + ![AdaBoost代码流程图](/images/7.AdaBoost/adaboost_code-flow-chart.jpg "AdaBoost代码流程图") -* 基于单层决策树构建弱分类器 - * 单层决策树(decision stump, 也称决策树桩)是一种简单的决策树。 -* 过拟合(overfitting, 也称为过学习) - * 发现测试错误率在达到一个最小值之后有开始上升，这种现象称为过拟合。 - -![过拟合](/images/7.AdaBoost/过拟合.png) - -> 训练算法：基于错误提升分类器 - ``` 发现： alpha 目的主要是计算每一个分类器实例的权重(组合就是分类结果) @@ -125,12 +118,22 @@ D 的目的是为了计算错误概率： weightedError = D.T*errArr，求最佳 ![AdaBoost算法权重计算公式](/images/7.AdaBoost/adaboost_alpha.png "AdaBoost算法权重计算公式") -### 优化评估: 处理非均衡分类问题 +基于单层决策树构建弱分类器 +* 单层决策树(decision stump, 也称决策树桩)是一种简单的决策树。 -`在分类器训练时，正例数目和反例数目不相等（相差很大）` + +### 知识点补充 + +> 过拟合(overfitting, 也称为过学习) + +* 发现测试错误率在达到一个最小值之后有开始上升，这种现象称为过拟合。 + +![过拟合](/images/7.AdaBoost/过拟合.png) > 非均衡现象： +`在分类器训练时，正例数目和反例数目不相等（相差很大）` + * 判断马是否能继续生存(不可误杀) * 过滤垃圾邮件(不可漏判) * 不能放过传染病的人