diff --git a/docs/13.利用PCA来简化数据.md b/docs/13.利用PCA来简化数据.md index 988809b8..c8266b85 100644 --- a/docs/13.利用PCA来简化数据.md +++ b/docs/13.利用PCA来简化数据.md @@ -2,14 +2,7 @@ ![利用PCA简化数据_首页](/images/13.PCA/利用PCA简化数据_首页.jpg) -> 场景描述： - -* 我们正通过电视而非现场观看体育比赛，在电视的纯平显示器上有一个球。 -* 显示器大概包含了100万像素，而球则可能是由较少的像素组成，例如说一千个像素。 -* 人们实时的将显示器上的百万像素转换成为一个三维图像，该图像就给出运动场上球的位置。 -* 在这个过程中，人们已经将数据从一百万维降至了三维。这就被称为`降维(dimensionality reduction)` - -## 降维技术 +## 降维技术 概述 > 数据显示并非大规模特征下的唯一难题，对数据进行简化还有如下一系列的原因： @@ -48,25 +41,49 @@ * 假设数据为多个数据源的混合观察结果，这些数据源之间在统计上是相互独立的，而在PCA中只假设数据是不相关的。 * 同因子分析一样，如果数据源的数目少于观察数据的数目，则可以实现降维过程。 -## 主成分分析(PCA) -> PCA的优缺点 +## 降维技术 场景 -* 优点：降低数据的复杂性，识别最重要的多个特征。 -* 缺点：不一定需要，且可能损失有用信息。 -* 适用数据类型：数值型数据。 +* 我们正通过电视而非现场观看体育比赛，在电视的纯平显示器上有一个球。 +* 显示器大概包含了100万像素，而球则可能是由较少的像素组成，例如说一千个像素。 +* 人们实时的将显示器上的百万像素转换成为一个三维图像，该图像就给出运动场上球的位置。 +* 在这个过程中，人们已经将数据从一百万维降至了三维。这就被称为`降维(dimensionality reduction)` -> 通过PCA进行降维处理，我们就可以同时获得SVM和决策树的优点： -* 一方面，得到了和决策树一样简单的分类器，同时分类间隔和SVM一样好。 - * 1.第一个主成分就是来自于数据差异性最大(即 方差最大)的方向提取出来 - * 2.第二个主成分就是来自于数据差异性次大的方向，并且该方向于第一个主成分方向正交。 - * 3.通过数据集的协方差矩阵及其特征值分析，我们就可以得到这些主成分的值。 - * 一旦得到了协方差矩阵的特征向量，我们就可以保留最大的N个值。这些特征向量也给出了N个最重要特征的真实结构。我们可以通过将数据乘上这N个特征向量而将它转换到新的空间。 -* 例如下图： -* ![应用PCA降维](/images/13.PCA/应用PCA降维.png) +## PCA -## 对半导体数据进行降维处理 +### PCA 概述 + +主成分分析(Principal Component Analysis, PCA)：`通俗理解：就是找出一个最主要的特征，然后进行分析。` + +### PCA 场景 + +`例如： 考察一个人的智力情况，就直接看数学成绩就行(存在：数学、语文、英语成绩)` + +### PCA 原理 + +> PCA 工作原理 + +通过PCA进行降维处理，我们就可以同时获得SVM和决策树的优点：(得到了和决策树一样简单的分类器，同时分类间隔和SVM一样好) +1. 第一个主成分就是来自于数据差异性最大(即: `方差最大`)的方向提取出来 +2. 第二个主成分就是来自于数据差异性次大的方向，并且该方向于第一个主成分方向`正交(orthogonal 如果是二维空间就叫垂直)`。 +3. 通过数据集的协方差矩阵及其特征值分析，我们就可以得到这些主成分的值。 +4. 一旦得到了协方差矩阵的特征向量，我们就可以保留最大的N个值。这些特征向量也给出了N个最重要特征的真实结构。 + 我们可以通过将数据乘上这N个特征向量而将它转换到新的空间。 + +例如下图： + +![应用PCA降维](/images/13.PCA/应用PCA降维.png) + +> PCA 优缺点 + +``` +优点：降低数据的复杂性，识别最重要的多个特征。 +缺点：不一定需要，且可能损失有用信息。 +适用数据类型：数值型数据。 +``` + +### 项目案例: 对半导体数据进行降维处理 ``` 半导体是在一些极为先进的工厂中制造出来的。设备的生命早期有限，并且话费极其巨大。 @@ -79,6 +96,7 @@ 目前该章节处理的方案是：将缺失值NaN(Not a Number缩写)，全部用平均值来替代(如果用0来处理的策略就太差劲了)。 ``` + ## 本章小节 ``` diff --git a/docs/3.决策树.md b/docs/3.决策树.md index 7ce8b86c..d024d7e7 100644 --- a/docs/3.决策树.md +++ b/docs/3.决策树.md @@ -89,11 +89,11 @@ ``` 收集数据：可以使用任何方法 -准备数据：树构造算法只适用于标称型数据，因此数值型数据必须离散化。 -分析数据：可以使用任何方法，构造树完成之后，我们应该检查图形是否符合预期。 +准备数据：树构造算法只适用于标称型数据，因此数值型数据必须离散化 +分析数据：可以使用任何方法，构造树完成之后，我们应该检查图形是否符合预期 训练算法：构造树的数据结构 -测试算法：使用经验树计算错误率 -使用算法：此步骤可以适用于任何监督学习算法，而使用决策树可以更好地理解数据的内在含义。 +测试算法：使用决策树执行分类 +使用算法：此步骤可以适用于任何监督学习算法，而使用决策树可以更好地理解数据的内在含义 ``` > 收集数据：可以使用任何方法 @@ -102,7 +102,7 @@ 我们利用 createDataSet() 函数输入数据 -```Python +```python def createDataSet(): dataSet = [[1, 1, 'yes'], [1, 1, 'yes'], @@ -112,13 +112,17 @@ def createDataSet(): labels = ['no surfacing', 'flippers'] return dataSet, labels ``` -> 准备数据：树构造算法只适用于标称型数据，因此数值型数据必须离散化。 +> 准备数据：树构造算法只适用于标称型数据，因此数值型数据必须离散化 此处，由于我们输入的数据本身就是离散化数据，所以这一步就省略了。 -计算给定数据集的香农熵 +> 分析数据：可以使用任何方法，构造树完成之后，我们应该检查图形是否符合预期 -```Python +![熵的计算公式](/images/3.DecisionTree/熵的计算公式.jpg) + +计算给定数据集的香农熵的函数 + +```python def calcShannonEnt(dataSet): # 求list的长度，表示计算参与训练的数据量 numEntries = len(dataSet) @@ -145,20 +149,55 @@ def calcShannonEnt(dataSet): 按照给定特征划分数据集 -```Python -def splitDataSet(dataSet, axis, value): +`将指定特征的特征值等于 value 的行剩下列作为子数据集。` + +```python +def splitDataSet(dataSet, index, value): + """splitDataSet(通过遍历dataSet数据集，求出index对应的colnum列的值为value的行) + 就是依据index列进行分类，如果index列的数据等于 value的时候，就要将 index 划分到我们创建的新的数据集中 + Args: + dataSet 数据集 待划分的数据集 + index 表示每一行的index列 划分数据集的特征 + value 表示index列对应的value值 需要返回的特征的值。 + Returns: + index列为value的数据集【该数据集需要排除index列】 + """ retDataSet = [] - for featVec in dataSet: - if featVec[axis] == value: - reducedFeatVec = featVec[:axis] - reducedFeatVec.extend(featVec[axis+1:]) + for featVec in dataSet: + # index列为value的数据集【该数据集需要排除index列】 + # 判断index列的值是否为value + if featVec[index] == value: + # chop out index used for splitting + # [:index]表示前index行，即若 index 为2，就是取 featVec 的前 index 行 + reducedFeatVec = featVec[:index] + ''' + 请百度查询一下： extend和append的区别 + list.append(object) 向列表中添加一个对象object + list.extend(sequence) 把一个序列seq的内容添加到列表中 + 1、使用append的时候，是将new_media看作一个对象，整体打包添加到music_media对象中。 + 2、使用extend的时候，是将new_media看作一个序列，将这个序列和music_media序列合并，并放在其后面。 + result = [] + result.extend([1,2,3]) + print result + result.append([4,5,6]) + print result + result.extend([7,8,9]) + print result + 结果： + [1, 2, 3] + [1, 2, 3, [4, 5, 6]] + [1, 2, 3, [4, 5, 6], 7, 8, 9] + ''' + reducedFeatVec.extend(featVec[index+1:]) + # [index+1:]表示从跳过 index 的 index+1行，取接下来的数据 + # 收集结果值 index列为value的行【该行需要排除index列】 retDataSet.append(reducedFeatVec) return retDataSet ``` 选择最好的数据集划分方式 -```Python +```python def chooseBestFeatureToSplit(dataSet): """chooseBestFeatureToSplit(选择最好的特征) @@ -169,14 +208,14 @@ def chooseBestFeatureToSplit(dataSet): """ # 求第一行有多少列的 Feature, 最后一列是label列嘛 numFeatures = len(dataSet[0]) - 1 - # label的信息熵 + # 数据集的原始信息熵 baseEntropy = calcShannonEnt(dataSet) # 最优的信息增益值, 和最优的Featurn编号 bestInfoGain, bestFeature = 0.0, -1 # iterate over all the features for i in range(numFeatures): # create a list of all the examples of this feature - # 获取每一个实例的第i+1个feature，组成list集合 + # 获取对应的feature下的所有数据 featList = [example[i] for example in dataSet] # get a set of unique values # 获取剔重后的集合，使用set对list数据进行去重 @@ -187,7 +226,9 @@ def chooseBestFeatureToSplit(dataSet): # 遍历当前特征中的所有唯一属性值，对每个唯一属性值划分一次数据集，计算数据集的新熵值，并对所有唯一特征值得到的熵求和。 for value in uniqueVals: subDataSet = splitDataSet(dataSet, i, value) + # 计算概率 prob = len(subDataSet)/float(len(dataSet)) + # 计算信息熵 newEntropy += prob * calcShannonEnt(subDataSet) # gain[信息增益]: 划分数据集前后的信息变化， 获取信息熵最大的值 # 信息增益是熵的减少或者是数据无序度的减少。最后，比较所有特征中的信息增益，返回最好特征划分的索引值。 @@ -199,11 +240,17 @@ def chooseBestFeatureToSplit(dataSet): return bestFeature ``` +``` +问：上面的 newEntropy 为什么是根据子集计算的呢？ +答：因为我们在根据一个特征计算香农熵的时候，该特征的分类值是相同，这个特征这个分类的香农熵为 0； +这就是为什么计算新的香农熵的时候使用的是子集。 +``` + > 训练算法：构造树的数据结构 -创建树的函数代码 +创建树的函数代码如下： -```Python +```python def createTree(dataSet, labels): classList = [example[-1] for example in dataSet] # 如果数据集的最后一列的第一个值出现的次数=整个集合的数量，也就说只有一个类别，就只直接返回结果就行 @@ -237,7 +284,36 @@ def createTree(dataSet, labels): return myTree ``` -> 测试算法：使用经验树计算错误率 +> 测试算法：使用决策树执行分类 + +```python +def classify(inputTree, featLabels, testVec): + """classify(给输入的节点，进行分类) + + Args: + inputTree 决策树模型 + featLabels Feature标签对应的名称 + testVec 测试输入的数据 + Returns: + classLabel 分类的结果值，需要映射label才能知道名称 + """ + # 获取tree的根节点对于的key值 + firstStr = inputTree.keys()[0] + # 通过key得到根节点对应的value + secondDict = inputTree[firstStr] + # 判断根节点名称获取根节点在label中的先后顺序，这样就知道输入的testVec怎么开始对照树来做分类 + featIndex = featLabels.index(firstStr) + # 测试数据，找到根节点对应的label位置，也就知道从输入的数据的第几位来开始分类 + key = testVec[featIndex] + valueOfFeat = secondDict[key] + print '+++', firstStr, 'xxx', secondDict, '---', key, '>>>', valueOfFeat + # 判断分枝是否结束: 判断valueOfFeat是否是dict类型 + if isinstance(valueOfFeat, dict): + classLabel = classify(valueOfFeat, featLabels, testVec) + else: + classLabel = valueOfFeat + return classLabel +``` > 使用算法：此步骤可以适用于任何监督学习算法，而使用决策树可以更好地理解数据的内在含义。 @@ -247,7 +323,7 @@ def createTree(dataSet, labels): #### 项目概述 -隐形眼镜类型包括应材质、软材质以及不适合佩戴隐形眼镜。我们需要使用决策树预测患者需要佩戴的隐形眼镜类型。 +隐形眼镜类型包括硬材质、软材质以及不适合佩戴隐形眼镜。我们需要使用决策树预测患者需要佩戴的隐形眼镜类型。 #### 开发流程 @@ -270,20 +346,20 @@ presbyopic myope no reduced no lenses > 解析数据：解析 tab 键分隔的数据行 -```Python +```python lecses = [inst.strip().split('\t') for inst in fr.readlines()] lensesLabels = ['age', 'prescript', 'astigmatic', 'tearRate'] ``` > 分析数据：快速检查数据，确保正确地解析数据内容，使用 createPlot() 函数绘制最终的树形图。 -```Python +```python >>> treePlotter.createPlot(lensesTree) ``` > 训练算法：使用 createTree() 函数 -```Python +```python >>> lensesTree = trees.createTree(lenses, lensesLabels) >>> lensesTree {'tearRate': {'reduced': 'no lenses', 'normal': {'astigmatic':{'yes': @@ -299,7 +375,7 @@ lensesLabels = ['age', 'prescript', 'astigmatic', 'tearRate'] 使用 pickle 模块存储决策树 -```Python +```python def storeTree(inputTree, filename): impory pickle fw = open(filename, 'w') diff --git a/docs/7.集成方法-随机森林和AdaBoost.md b/docs/7.集成方法-随机森林和AdaBoost.md index 99c0caf8..b55edbba 100644 --- a/docs/7.集成方法-随机森林和AdaBoost.md +++ b/docs/7.集成方法-随机森林和AdaBoost.md @@ -84,26 +84,24 @@ 适用数据范围：数值型和标称型 ``` -### 项目案例: 随机森林 - -![随机森林](/images/7.RandomForest/RandomForest_Flow.jpg) +### 项目案例: 声纳信号分类 #### 项目概述 -这是 Gorman 和 Sejnowski 在研究使用神经网络的声纳信号分类中使用的数据集。任务是训练一个网络来区分声纳信号。 +这是 Gorman 和 Sejnowski 在研究使用神经网络的声纳信号分类中使用的数据集。任务是训练一个模型来区分声纳信号。 #### 开发流程 ``` -收集数据：提供的文本文件。 -准备数据：转换样本集。 -分析数据：手工检查数据。 -训练算法：在数据上，利用 random_forest() 函数进行优化评估，返回模型的综合分类结果。 -测试算法：在采用自定义 n_folds 循环的随机重抽样就行测试评估，得出综合的预测评分。 -使用算法：本例没有完成此步骤，若你感兴趣可以构建完整的应用程序，从案例进行封装，就可以构造一个实际运行的类似系统 +收集数据：提供的文本文件 +准备数据：转换样本集 +分析数据：手工检查数据 +训练算法：在数据上，利用 random_forest() 函数进行优化评估，返回模型的综合分类结果 +测试算法：在采用自定义 n_folds 份随机重抽样 进行测试评估，得出综合的预测评分 +使用算法：若你感兴趣可以构建完整的应用程序，从案例进行封装，也可以参考我们的代码 ``` -> 收集数据：提供的文本文件。 +> 收集数据：提供的文本文件 样本数据：sonar-all-data.txt @@ -141,17 +139,17 @@ def loadDataSet(filename): > 训练算法：在数据上，利用 random_forest() 函数进行优化评估，返回模型的综合分类结果 -* 数据随机化 +* 样本数据随机无放回抽样-用于交叉验证 ```python def cross_validation_split(dataset, n_folds): - """cross_validation_split(将数据集进行抽重抽样 n_folds 份，数据可以重复重复抽取，每一次list的元素是无重复的) + """cross_validation_split(将数据集进行抽重抽样 n_folds 份，数据可以重复重复抽取) Args: dataset 原始数据集 n_folds 数据集dataset分成n_flods份 Returns: - dataset_split list集合，存放的是：将数据集进行抽重抽样 n_folds 份，数据可以重复重复抽取，每一次list的元素是无重复的 + dataset_split list集合，存放的是：将数据集进行抽重抽样 n_folds 份，数据可以重复重复抽取 """ dataset_split = list() dataset_copy = list(dataset) # 复制一份 dataset,防止 dataset 的内容改变 @@ -163,13 +161,38 @@ def cross_validation_split(dataset, n_folds): index = randrange(len(dataset_copy)) # 将对应索引 index 的内容从 dataset_copy 中导出，并将该内容从 dataset_copy 中删除。 # pop() 函数用于移除列表中的一个元素（默认最后一个元素），并且返回该元素的值。 - # fold.append(dataset_copy.pop(index)) # 无放回的方式 - fold.append(dataset_copy[index]) # 有放回的方式 + fold.append(dataset_copy.pop(index)) # 无放回的方式 + # fold.append(dataset_copy[index]) # 有放回的方式 dataset_split.append(fold) # 由dataset分割出的n_folds个数据构成的列表，为了用于交叉验证 return dataset_split ``` +* 训练数据集随机化 + +```python +# Create a random subsample from the dataset with replacement +def subsample(dataset, ratio): # 创建数据集的随机子样本 + """random_forest(评估算法性能，返回模型得分) + + Args: + dataset 训练数据集 + ratio 训练数据集的样本比例 + Returns: + sample 随机抽样的训练样本 + """ + + sample = list() + # 训练样本的按比例抽样。 + # round() 方法返回浮点数x的四舍五入值。 + n_sample = round(len(dataset) * ratio) + while len(sample) < n_sample: + # 有放回的随机采样，有一些样本被重复采样，从而在训练集中多次出现，有的则从未在训练集中出现，此则自助采样法。从而保证每棵决策树训练集的差异性 + index = randrange(len(dataset)) + sample.append(dataset[index]) + return sample +``` + * 特征随机化 ```python @@ -226,7 +249,7 @@ def random_forest(train, test, max_depth, min_size, sample_size, n_trees, n_feat return predictions ``` -> 测试算法：在采用自定义 n_folds 循环的随机重抽样就行测试评估，得出综合的预测评分。 +> 测试算法：在采用自定义 n_folds 份随机重抽样 进行测试评估，得出综合的预测评分。 * 计算随机森林的预测结果的正确率 @@ -238,13 +261,13 @@ def evaluate_algorithm(dataset, algorithm, n_folds, *args): Args: dataset 原始数据集 algorithm 使用的算法 - n_folds 树的个数 + n_folds 数据的份数 *args 其他的参数 Returns: scores 模型得分 """ - # 将数据集进行抽重抽样 n_folds 份，数据可以重复重复抽取，每一次 list 的元素是无重复的 + # 将数据集进行随机抽样，分成 n_folds 份，数据无重复的抽取 folds = cross_validation_split(dataset, n_folds) scores = list() # 每次循环从 folds 从取出一个 fold 作为测试集，其余作为训练集，遍历整个 folds ，实现交叉验证 @@ -279,7 +302,7 @@ def evaluate_algorithm(dataset, algorithm, n_folds, *args): return scores ``` -> 使用算法：本例没有完成此步骤，若你感兴趣可以构建完整的应用程序，从案例进行封装，就可以构造一个实际运行的类似系统 +> 使用算法：若你感兴趣可以构建完整的应用程序，从案例进行封装，也可以参考我们的代码 [完整代码地址](https://github.com/apachecn/MachineLearning/blob/master/src/python/7.RandomForest/randomForest.py): @@ -343,7 +366,7 @@ def evaluate_algorithm(dataset, algorithm, n_folds, *args): > 收集数据：提供的文本文件。 -训练数据：horseColicTraining.txt +训练数据：horseColicTraining.txt
测试数据：horseColicTest.txt ``` @@ -378,6 +401,10 @@ def loadDataSet(fileName): ![过拟合](/images/7.AdaBoost/过拟合.png) +* 通俗来说：就是把一些噪音数据也拟合进去的，如下图。 + +![过拟合](/images/7.AdaBoost/过拟合图解.png) + > 训练算法：在数据上，利用 adaBoostTrainDS() 函数训练出一系列的分类器。 ```python @@ -501,10 +528,12 @@ print m, errArr[predicting10 != mat(labelArrTest).T].sum(), errArr[predicting10 > ROC 评估方法 * ROC 曲线: 最佳的分类器应该尽可能地处于左上角 -* ![ROC曲线](/images/7.AdaBoost/ROC曲线.png) - * 对不同的 ROC 曲线进行比较的一个指标是曲线下的面积(Area Unser the Curve, AUC). - * AUC 给出的是分类器的平均性能值，当然它并不能完全代替对整条曲线的观察。 - * 一个完美分类器的 AUC 为1，而随机猜测的 AUC 则为0.5。 + +![ROC曲线](/images/7.AdaBoost/ROC曲线.png) + +* 对不同的 ROC 曲线进行比较的一个指标是曲线下的面积(Area Unser the Curve, AUC). +* AUC 给出的是分类器的平均性能值，当然它并不能完全代替对整条曲线的观察。 +* 一个完美分类器的 AUC 为1，而随机猜测的 AUC 则为0.5。 > 代价函数 diff --git a/images/3.DecisionTree/熵的计算公式.jpg b/images/3.DecisionTree/熵的计算公式.jpg new file mode 100644 index 00000000..58fbc8b3 Binary files /dev/null and b/images/3.DecisionTree/熵的计算公式.jpg differ diff --git a/images/7.AdaBoost/过拟合图解.png b/images/7.AdaBoost/过拟合图解.png new file mode 100644 index 00000000..0bb222b7 Binary files /dev/null and b/images/7.AdaBoost/过拟合图解.png differ diff --git a/images/7.RandomForest/RandomForest_Flow.jpg b/images/7.RandomForest/RandomForest_Flow.jpg deleted file mode 100644 index 1382baec..00000000 Binary files a/images/7.RandomForest/RandomForest_Flow.jpg and /dev/null differ diff --git a/src/python/13.PCA/pca.py b/src/python/13.PCA/pca.py index 52c1197e..b61dc69a 100644 --- a/src/python/13.PCA/pca.py +++ b/src/python/13.PCA/pca.py @@ -7,10 +7,9 @@ Update on 2017-05-18 @author: Peter Harrington/片刻 《机器学习实战》更新地址：https://github.com/apachecn/MachineLearning ''' -print(__doc__) from numpy import * -import matplotlib import matplotlib.pyplot as plt +print(__doc__) def loadDataSet(fileName, delim='\t'): @@ -106,6 +105,32 @@ def show_picture(dataMat, reconMat): plt.show() +def analyse_data(dataMat): + meanVals = mean(dataMat, axis=0) + meanRemoved = dataMat-meanVals + covMat = cov(meanRemoved, rowvar=0) + eigvals, eigVects = linalg.eig(mat(covMat)) + eigValInd = argsort(eigvals) + + topNfeat = 20 + eigValInd = eigValInd[:-(topNfeat+1):-1] + cov_all_score = sum(eigvals) + sum_cov_score = 0 + for i in range(0, len(eigValInd)): + line_cov_score = eigvals[eigValInd[i]] + sum_cov_score += line_cov_score + ''' + 我们发现其中有超过20%的特征值都是0。 + 这就意味着这些特征都是其他特征的副本，也就是说，它们可以通过其他特征来表示，而本身并没有提供额外的信息。 + + 最前面15个值的数量级大于10^5，实际上那以后的值都变得非常小。 + 这就相当于告诉我们只有部分重要特征，重要特征的数目也很快就会下降。 + + 最后，我们可能会注意到有一些小的负值，他们主要源自数值误差应该四舍五入成0. + ''' + print '主成分：%s, 方差占比：%s%%, 累积方差占比：%s%%' % (format(i+1, '2.0f'), format(line_cov_score/cov_all_score*100, '4.1f'), format(sum_cov_score/cov_all_score*100, '4.1f')) + + if __name__ == "__main__": # # 加载数据，并转化数据类型为float # dataMat = loadDataSet('input/13.PCA/testSet.txt') @@ -119,30 +144,8 @@ if __name__ == "__main__": # 利用PCA对半导体制造数据降维 dataMat = replaceNanWithMean() print shape(dataMat) + # # 分析数据 + # analyse_data(dataMat) lowDmat, reconMat = pca(dataMat, 20) print shape(lowDmat) show_picture(dataMat, reconMat) - - # meanVals = mean(dataMat, axis=0) - # meanRemoved = dataMat-meanVals - # covMat = cov(meanRemoved, rowvar=0) - # eigvals, eigVects = linalg.eig(mat(covMat)) - # eigValInd = argsort(eigvals) - - # topNfeat = 20 - # eigValInd = eigValInd[:-(topNfeat+1):-1] - # cov_all_score = sum(eigvals) - # sum_cov_score = 0 - # for i in range(0, len(eigValInd)): - # line_cov_score = eigvals[eigValInd[i]] - # sum_cov_score += line_cov_score - # ''' - # 我们发现其中有超过20%的特征值都是0。 - # 这就意味着这些特征都是其他特征的副本，也就是说，它们可以通过其他特征来表示，而本身并没有提供额外的信息。 - - # 最前面15个值的数量级大于10^5，实际上那以后的值都变得非常小。 - # 这就相当于告诉我们只有部分重要特征，重要特征的数目也很快就会下降。 - - # 最后，我们可能会注意到有一些小的负值，他们主要源自数值误差应该四舍五入成0. - # ''' - # print '主成分：%s, 方差占比：%s%%, 累积方差占比：%s%%' % (format(i+1, '2.0f'), format(line_cov_score/cov_all_score*100, '4.1f'), format(sum_cov_score/cov_all_score*100, '4.1f')) diff --git a/src/python/3.DecisionTree/DecisionTree.py b/src/python/3.DecisionTree/DecisionTree.py index f34a568c..8251bb90 100755 --- a/src/python/3.DecisionTree/DecisionTree.py +++ b/src/python/3.DecisionTree/DecisionTree.py @@ -75,24 +75,24 @@ def calcShannonEnt(dataSet): return shannonEnt -def splitDataSet(dataSet, axis, value): - """splitDataSet(通过遍历dataSet数据集，求出axis对应的colnum列的值为value的行) - 就是依据axis列进行分类，如果axis列的数据等于 value的时候，就要将 axis 划分到我们创建的新的数据集中 +def splitDataSet(dataSet, index, value): + """splitDataSet(通过遍历dataSet数据集，求出index对应的colnum列的值为value的行) + 就是依据index列进行分类，如果index列的数据等于 value的时候，就要将 index 划分到我们创建的新的数据集中 Args: dataSet 数据集 待划分的数据集 - axis 表示每一行的axis列 划分数据集的特征 - value 表示axis列对应的value值 需要返回的特征的值。 + index 表示每一行的index列 划分数据集的特征 + value 表示index列对应的value值 需要返回的特征的值。 Returns: - axis列为value的数据集【该数据集需要排除axis列】 + index列为value的数据集【该数据集需要排除index列】 """ retDataSet = [] for featVec in dataSet: - # axis列为value的数据集【该数据集需要排除axis列】 - # 判断axis列的值是否为value - if featVec[axis] == value: - # chop out axis used for splitting - # [:axis]表示前axis行，即若 axis 为2，就是取 featVec 的前 axis 行 - reducedFeatVec = featVec[:axis] + # index列为value的数据集【该数据集需要排除index列】 + # 判断index列的值是否为value + if featVec[index] == value: + # chop out index used for splitting + # [:index]表示前index行，即若 index 为2，就是取 featVec 的前 index 行 + reducedFeatVec = featVec[:index] ''' 请百度查询一下： extend和append的区别 list.append(object) 向列表中添加一个对象object @@ -109,11 +109,11 @@ def splitDataSet(dataSet, axis, value): 结果： [1, 2, 3] [1, 2, 3, [4, 5, 6]] - [1, 2, 3, [4, 5, 6], 7, 8, 9 + [1, 2, 3, [4, 5, 6], 7, 8, 9] ''' - reducedFeatVec.extend(featVec[axis+1:]) - # [axis+1:]表示从跳过 axis 的 axis+1行，取接下来的数据 - # 收集结果值 axis列为value的行【该行需要排除axis列】 + reducedFeatVec.extend(featVec[index+1:]) + # [index+1:]表示从跳过 index 的 index+1行，取接下来的数据 + # 收集结果值 index列为value的行【该行需要排除index列】 retDataSet.append(reducedFeatVec) return retDataSet @@ -250,6 +250,7 @@ def grabTree(filename): fr = open(filename) return pickle.load(fr) + def fishTest(): # 1.创建数据和结果标签 myDat, labels = createDataSet() @@ -269,10 +270,11 @@ def fishTest(): myTree = createTree(myDat, copy.deepcopy(labels)) print myTree # [1, 1]表示要取的分支上的节点位置，对应的结果值 - # print classify(myTree, labels, [1, 1]) + print classify(myTree, labels, [1, 1]) # 画图可视化展现 - # dtPlot.createPlot(myTree) + dtPlot.createPlot(myTree) + def ContactLensesTest(): """ @@ -294,10 +296,9 @@ def ContactLensesTest(): lensesTree = createTree(lenses, lensesLabels) print lensesTree # 画图可视化展现 - # dtPlot.createPlot(lensesTree) + dtPlot.createPlot(lensesTree) if __name__ == "__main__": - fishTest() - # ContactLensesTest() - + # fishTest() + ContactLensesTest() diff --git a/src/python/3.DecisionTree/decisionTreePlot.py b/src/python/3.DecisionTree/decisionTreePlot.py index 59b97751..1cafebec 100644 --- a/src/python/3.DecisionTree/decisionTreePlot.py +++ b/src/python/3.DecisionTree/decisionTreePlot.py @@ -87,7 +87,7 @@ def plotTree(myTree, parentPt, nodeTxt): plotNode(secondDict[key], (plotTree.xOff, plotTree.yOff), cntrPt, leafNode) # 并打印输入对应的文字 plotMidText((plotTree.xOff, plotTree.yOff), cntrPt, str(key)) - # plotTree.yOff = plotTree.yOff + 1.0/plotTree.totalD + plotTree.yOff = plotTree.yOff + 1.0/plotTree.totalD def createPlot(inTree): diff --git a/src/python/3.DecisionTree/decisionTreePlot.pyc b/src/python/3.DecisionTree/decisionTreePlot.pyc new file mode 100644 index 00000000..c9f9da40 Binary files /dev/null and b/src/python/3.DecisionTree/decisionTreePlot.pyc differ diff --git a/src/python/7.RandomForest/randomForest.py b/src/python/7.RandomForest/randomForest.py index 9b6afda6..7f6ddeca 100644 --- a/src/python/7.RandomForest/randomForest.py +++ b/src/python/7.RandomForest/randomForest.py @@ -163,7 +163,7 @@ def build_tree(train, max_depth, min_size, n_features): # Make a prediction with a decision tree def predict(node, row): # 预测模型分类结果 if row[node['index']] < node['value']: - if isinstance(node['left'], dict): # isinstance是Python中的一个内建函数。是用来判断一个对象是否是一个已知的类型。 + if isinstance(node['left'], dict): # isinstance 是 Python 中的一个内建函数。是用来判断一个对象是否是一个已知的类型。 return predict(node['left'], row) else: return node['left'] @@ -258,7 +258,7 @@ def evaluate_algorithm(dataset, algorithm, n_folds, *args): Args: dataset 原始数据集 algorithm 使用的算法 - n_folds 树的个数 + n_folds 数据的份数 *args 其他的参数 Returns: scores 模型得分