更新决策树

docs/3.决策树.md

@@ -26,42 +26,52 @@
 
 ### 决策树 须知概念
 
-#### 信息增益
+#### 信息熵 & 信息增益
 
-划分数据集的最大原则是: 将无序的数据变得更加有序。我们可以使用多种方法划分数据集，但是每种方法都有各自的优缺点。组织杂乱无章数据的一种方法就是使用信息论度量信息，信息论是量化处理信息的分支科学。我们可以在划分数据之前或之后使用信息论量化度量信息的内容。
+熵：
+熵（entropy）指的是体系的混乱的程度，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。
 
-在划分数据集之前之后信息发生的变化称为信息增益，知道如何计算信息增益，我们就可以计算每个特征值划分数据集获得的信息增益，获得信息增益最高的特征就是最好的选择。
-
-集合信息的度量方式称为香农熵或者简称为熵。
-
-学习了如何度量数据集的无序程度之后，分类算法除了需要测量信息熵，还需要划分数据集，度量划分数据集的熵，以便判断当前是否正确地划分了数据集。我们将对每个特征划分数据集的结果计算一次信息熵，然后判断按照哪个特征划分数据集是最好的划分方式。
+信息熵（香农熵）：
+是一种信息的度量方式，表示信息的混乱程度，也就是说：信息越有序，信息熵越低。例如：火柴有序放在火柴盒里，熵值很低，相反，熵值很高。
 
+信息增益：
+在划分数据集前后信息发生的变化称为信息增益。
 
 ### 决策树 工作原理
 
-1. 检测数据集中的每个子项是否属于同一分类:
-    1. 如果属于同一分类，返回对应的类别标签 label
-    2. 如果不属于同一分类:
-        1. 寻找划分数据集的最好特征
-        2. 划分数据集
-        3. 创建分支节点
-            * 对于每个划分的子集，调用函数 createBranch （创建分支的函数）并增加返回结果到分支节点中
-        4. return 分支节点
+如何构造一个决策树?<br/>
+我们使用 createBranch() 方法，如下所示：
 
-### 决策树 一般流程
+```
+检测数据集中的所有数据的分类标签是否相同:
+    If so return 类标签
+    Else:
+        寻找划分数据集的最好特征（划分之后信息熵最小，也就是信息增益最大的特征）
+        划分数据集
+        创建分支节点
+            for 每个划分的子集
+                调用函数 createBranch （创建分支的函数）并增加返回结果到分支节点中
+        return 分支节点
+```
 
-1. 收集数据：可以使用任何方法。
-2. 准备数据：树构造算法只适用于标称型数据，因此数值型数据必须离散化。
-3. 分析数据：可以使用任何方法，构造树完成之后，我们应该检查图形是否符合预期。
-4. 训练算法：构造树的数据结构。
-5. 测试算法：使用经验树计算错误率。
-6. 使用算法：此步骤可以适用于任何监督学习算法，而使用决策树可以更好地理解数据的内在含义。
+### 决策树 开发流程
+
+```
+收集数据：可以使用任何方法。
+准备数据：树构造算法只适用于标称型数据，因此数值型数据必须离散化。
+分析数据：可以使用任何方法，构造树完成之后，我们应该检查图形是否符合预期。
+训练算法：构造树的数据结构。
+测试算法：使用经验树计算错误率。（经验树没有搜索到较好的资料，有兴趣的同学可以来补充）
+使用算法：此步骤可以适用于任何监督学习算法，而使用决策树可以更好地理解数据的内在含义。
+```
 
 ### 决策树 算法特点
 
-* 优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。
-* 缺点：可能会产生过度匹配问题。
-* 适用数据类型：数值型和标称型。
+```
+优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。
+缺点：可能会产生过度匹配问题。
+适用数据类型：数值型和标称型。
+```
 
 ## 决策树 项目案例