From f194399ac6818948fdd2ead00b9ab2bc9198faa6 Mon Sep 17 00:00:00 2001 From: jiangzhonglian Date: Wed, 23 Aug 2017 12:32:07 +0800 Subject: [PATCH] =?UTF-8?q?=E6=9B=B4=E6=96=B0=E5=86=B3=E7=AD=96=E6=A0=91?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- docs/3.决策树.md | 60 ++++++++++++++++++++++++++++-------------------- 1 file changed, 35 insertions(+), 25 deletions(-) diff --git a/docs/3.决策树.md b/docs/3.决策树.md index 4f60343b..7ce8b86c 100644 --- a/docs/3.决策树.md +++ b/docs/3.决策树.md @@ -26,42 +26,52 @@ ### 决策树 须知概念 -#### 信息增益 +#### 信息熵 & 信息增益 -划分数据集的最大原则是: 将无序的数据变得更加有序。我们可以使用多种方法划分数据集，但是每种方法都有各自的优缺点。组织杂乱无章数据的一种方法就是使用信息论度量信息，信息论是量化处理信息的分支科学。我们可以在划分数据之前或之后使用信息论量化度量信息的内容。 +熵： +熵（entropy）指的是体系的混乱的程度，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。 -在划分数据集之前之后信息发生的变化称为信息增益，知道如何计算信息增益，我们就可以计算每个特征值划分数据集获得的信息增益，获得信息增益最高的特征就是最好的选择。 - -集合信息的度量方式称为香农熵或者简称为熵。 - -学习了如何度量数据集的无序程度之后，分类算法除了需要测量信息熵，还需要划分数据集，度量划分数据集的熵，以便判断当前是否正确地划分了数据集。我们将对每个特征划分数据集的结果计算一次信息熵，然后判断按照哪个特征划分数据集是最好的划分方式。 +信息熵（香农熵）： +是一种信息的度量方式，表示信息的混乱程度，也就是说：信息越有序，信息熵越低。例如：火柴有序放在火柴盒里，熵值很低，相反，熵值很高。 +信息增益： +在划分数据集前后信息发生的变化称为信息增益。 ### 决策树 工作原理 -1. 检测数据集中的每个子项是否属于同一分类: - 1. 如果属于同一分类，返回对应的类别标签 label - 2. 如果不属于同一分类: - 1. 寻找划分数据集的最好特征 - 2. 划分数据集 - 3. 创建分支节点 - * 对于每个划分的子集，调用函数 createBranch （创建分支的函数）并增加返回结果到分支节点中 - 4. return 分支节点 +如何构造一个决策树?
+我们使用 createBranch() 方法，如下所示： -### 决策树 一般流程 +``` +检测数据集中的所有数据的分类标签是否相同: + If so return 类标签 + Else: + 寻找划分数据集的最好特征（划分之后信息熵最小，也就是信息增益最大的特征） + 划分数据集 + 创建分支节点 + for 每个划分的子集 + 调用函数 createBranch （创建分支的函数）并增加返回结果到分支节点中 + return 分支节点 +``` -1. 收集数据：可以使用任何方法。 -2. 准备数据：树构造算法只适用于标称型数据，因此数值型数据必须离散化。 -3. 分析数据：可以使用任何方法，构造树完成之后，我们应该检查图形是否符合预期。 -4. 训练算法：构造树的数据结构。 -5. 测试算法：使用经验树计算错误率。 -6. 使用算法：此步骤可以适用于任何监督学习算法，而使用决策树可以更好地理解数据的内在含义。 +### 决策树 开发流程 + +``` +收集数据：可以使用任何方法。 +准备数据：树构造算法只适用于标称型数据，因此数值型数据必须离散化。 +分析数据：可以使用任何方法，构造树完成之后，我们应该检查图形是否符合预期。 +训练算法：构造树的数据结构。 +测试算法：使用经验树计算错误率。（经验树没有搜索到较好的资料，有兴趣的同学可以来补充） +使用算法：此步骤可以适用于任何监督学习算法，而使用决策树可以更好地理解数据的内在含义。 +``` ### 决策树 算法特点 -* 优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。 -* 缺点：可能会产生过度匹配问题。 -* 适用数据类型：数值型和标称型。 +``` +优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。 +缺点：可能会产生过度匹配问题。 +适用数据类型：数值型和标称型。 +``` ## 决策树 项目案例