diff --git a/docs/14.利用SVD简化数据.md b/docs/14.利用SVD简化数据.md index 1765dbe5..995384d4 100644 --- a/docs/14.利用SVD简化数据.md +++ b/docs/14.利用SVD简化数据.md @@ -7,7 +7,7 @@ ``` 奇异值分解（SVD, Singular Value Decomposition）: - 提取信息的一种方法，可以把 SVD 看成是从噪声数据中抽取相关特征。从生物信息学到金融学，SVD 是提出信息的强大工具。 + 提取信息的一种方法，可以把 SVD 看成是从噪声数据中抽取相关特征。从生物信息学到金融学，SVD 是提取信息的强大工具。 ``` ## SVD 场景 @@ -19,10 +19,10 @@ ![LSA举例](/images/14.SVD/使用SVD简化数据-LSI举例.png) -> 推荐引擎 +> 推荐系统 1. 利用 SVD 从数据中构建一个主题空间。 -2. 再在该空间下计算其相似度。(从高维-低维空间的转化，在低维空间来计算相似度，SVD提升了推荐引擎的效率。) +2. 再在该空间下计算其相似度。(从高维-低维空间的转化，在低维空间来计算相似度，SVD 提升了推荐系统的效率。) ![主题空间案例1](/images/14.SVD/SVD_推荐系统_主题空间案例1.jpg) @@ -32,6 +32,8 @@ 例如：`32*32=1024 => 32*2+2*1+32*2=130`(2*1表示去掉了除对角线的0), 几乎获得了10倍的压缩比。 +![SVD公式](/images/14.SVD/使用SVD简化数据-SVD公式.jpg) + ## SVD 原理 ### SVD 工作原理 @@ -39,32 +41,38 @@ > 矩阵分解 * 矩阵分解是将数据矩阵分解为多个独立部分的过程。 -* 矩阵分解可以将原始矩阵表示成新的易于处理的形式，这种新形式时两个或多个矩阵的乘积。（类似代数中的因数分解） +* 矩阵分解可以将原始矩阵表示成新的易于处理的形式，这种新形式是两个或多个矩阵的乘积。（类似代数中的因数分解） * 举例：如何将12分解成两个数的乘积？（1，12）、（2，6）、（3，4）都是合理的答案。 > SVD 是矩阵分解的一种类型，也是矩阵分解最常见的技术 -* SVD 将原始的数据集矩阵Data分解成三个矩阵U、∑、\\(V^T\\) +* SVD 将原始的数据集矩阵 Data 分解成三个矩阵 U、∑、V * 举例：如果原始矩阵 \\(Data_{m*n}\\) 是m行n列， - * \\(U_{m*m}\\) 表示m行m列 - * \\(∑_{m*n}\\) 表示m行n列 - * \\(V^T_{n*n}\\) 表示n行n列。 + * \\(U_{m*n}\\) 表示m行n列 + * \\(∑_{m*k}\\) 表示m行k列 + * \\(V_{k*n}\\) 表示k行n列。 -![SVD公式](/images/14.SVD/使用SVD简化数据-SVD公式.png) +\\(Data_{m*n} = U_{m\*k} \* ∑_{k\*k} \* V_{k\*n}\\) -* 上述分解中会构建出一个矩阵∑，该矩阵只有对角元素，其他元素均为0(近似于0)。另一个惯例就是，∑的对角元素是从大到小排列的。这些对角元素称为奇异值，它们对应原始矩阵 Data 的奇异值。 -* 奇异值与特征值(PCA 数据中重要特征)是有关系的。这里的奇异值就是矩阵 \\(Data * Date^T\\) 特征值的平方根。 +![SVD公式](/images/14.SVD/使用SVD简化数据-SVD公式.jpg) + +具体的案例：（大家可以试着推导一下：https://wenku.baidu.com/view/b7641217866fb84ae45c8d17.html ） + +![SVD公式](/images/14.SVD/SVD公式的测试案例.jpg) + +* 上述分解中会构建出一个矩阵∑，该矩阵只有对角元素，其他元素均为0(近似于0)。另一个惯例就是，∑的对角元素是从大到小排列的。这些对角元素称为奇异值。 +* 奇异值与特征值(PCA 数据中重要特征)是有关系的。这里的奇异值就是矩阵 \\(Data * Data^T\\) 特征值的平方根。 * 普遍的事实：在某个奇异值的数目(r 个=>奇异值的平方和累加到总值的90%以上)之后，其他的奇异值都置为0(近似于0)。这意味着数据集中仅有 r 个重要特征，而其余特征则都是噪声或冗余特征。 ### SVD 算法特点 ``` -优点：简化数据，去除噪声，提高算法的结果 +优点：简化数据，去除噪声，优化算法的结果 缺点：数据的转换可能难以理解 使用的数据类型：数值型数据 ``` -## 推荐引擎 +## 推荐系统 ### 推荐系统 概述 @@ -87,10 +95,12 @@ > 基于物品的相似度和基于用户的相似度：物品比较少则选择物品相似度，用户比较少则选择用户相似度。【矩阵还是小一点好计算】 * 基于物品的相似度：计算物品之间的距离。【耗时会随物品数量的增加而增加】 +* 由于物品A和物品C 相似度(相关度)很高，所以给买A的人推荐C。 ![SVD公式](/images/14.SVD/使用SVD简化数据-基于物品相似度.png) * 基于用户的相似度：计算用户之间的距离。【耗时会随用户数量的增加而增加】 +* 由于用户A和用户C 相似度(相关度)很高，所以A和C是兴趣相投的人，对于C买的物品就会推荐给A。 ![SVD公式](/images/14.SVD/使用SVD简化数据-基于用户相似度.png) @@ -111,9 +121,9 @@ * `相似度= 0.5 + 0.5*( float(inA.T*inB) / la.norm(inA)*la.norm(inB))` * 如果夹角为90度，则相似度为0；如果两个向量的方向相同，则相似度为1.0。 -> 推荐引擎的评价 +> 推荐系统的评价 -* 采用交叉测试的方法。 +* 采用交叉测试的方法。【拆分数据为训练集和测试集】 * 推荐引擎评价的指标： 最小均方根误差(Root mean squared error, RMSE)，也称标准误差(Standard error)，就是计算均方误差的平均值然后取其平方根。 * 如果RMSE=1, 表示相差1个星级；如果RMSE=2.5, 表示相差2.5个星级。 @@ -126,7 +136,7 @@ 3. 对这些物品的评分从高到低进行排序，返回前N个物品。 -### 项目案例: 餐馆菜肴推荐引擎 +### 项目案例: 餐馆菜肴推荐系统 #### 项目概述 diff --git a/docs/15.大数据与MapReduce.md b/docs/15.大数据与MapReduce.md index 109cc0f4..cad066ba 100644 --- a/docs/15.大数据与MapReduce.md +++ b/docs/15.大数据与MapReduce.md @@ -2,31 +2,52 @@ ![大数据与MapReduce首页](/images/15.BigData_MapReduce/mr_headPage.jpg "大数据与MapReduce首页") +## 大数据 概述 + `大数据: 收集到的数据已经远远超出了我们的处理能力。` -## MapReduce + +## 大数据 场景 ``` -Hadoop 是 MapRedece框架的一个免费开源实现。 +假如你为一家网络购物商店工作，很多拥护访问该网站，其中有些人会购买商品，有些人则随意浏览后就离开。 +对于你来说，可能很想识别那些有购物意愿的用户。 +那么问题就来了，数据集可能会非常大，在单机上训练要运行好几天。 +接下来：我们讲讲 Hadoop 如何来解决这样的问题 +``` + + +## MapReduce + +### Hadoop 概述 + +``` +Hadoop 是 MapRedece 框架的一个免费开源实现。 MapReduce: 分布式的计算框架，可以将单个计算作业分配给多台计算机执行。 +``` + +### MapRedece 原理 + +> MapRedece 工作原理 + +* 主节点控制 MapReduce 的作业流程 +* MapReduce 的作业可以分成map任务和reduce任务 +* map 任务之间不做数据交流，reduce 任务也一样 +* 在 map 和 reduce 阶段中间，有一个 sort 和 combine 阶段 +* 数据被重复存放在不同的机器上，以防止某个机器失效 +* mapper 和 reducer 传输的数据形式为 key/value对 + +![MapReduce框架的示意图](/images/15.BigData_MapReduce/mr_1_cluster.jpg "MapReduce框架的示意图") + +> MapRedece 特点 + +``` 优点: 使程序以并行的方式执行，可在短时间内完成大量工作。 缺点: 算法必须经过重写，需要对系统工程有一定的理解。 适用数据类型: 数值型和标称型数据。 ``` -* MapReduce框架的示意图 -* ![MapReduce框架的示意图](/images/15.BigData_MapReduce/mr_1_cluster.jpg "MapReduce框架的示意图") - -> 关于MapRduce的学习要点 - -* 主节点控制MapReduce的作业流程 -* MapReduce的作业可以分成map任务和reduce任务 -* map任务之间不做数据交流，reduce任务也一样 -* 在map和reduce阶段中间，有一个sort和combine阶段 -* 数据被重复存放在不同的机器上，以防止某个机器实效 -* mapper和reducer传输的数据形式为key/value对 - -## Python中Hadoop流的使用 +### Hadoop 流(Python 调用) > 理论简介 @@ -44,19 +65,19 @@ cat inputFile.txt | python mapper.py | sort | python reducer.py > outputFile.txt # 测试 Mapper # Linux cat input/15.BigData_MapReduce/inputFile.txt | python src/python/15.BigData_MapReduce/mrMeanMapper.py -# # Window +# Window # python src/python/15.BigData_MapReduce/mrMeanMapper.py < input/15.BigData_MapReduce/inputFile.txt # 测试 Reducer # Linux cat input/15.BigData_MapReduce/inputFile.txt | python src/python/15.BigData_MapReduce/mrMeanMapper.py | python src/python/15.BigData_MapReduce/mrMeanReducer.py -# # Window +# Window # python src/python/15.BigData_MapReduce/mrMeanMapper.py < input/15.BigData_MapReduce/inputFile.txt | python src/python/15.BigData_MapReduce/mrMeanReducer.py ``` -## MapReduce上的机器学习 +### MapReduce 机器学习 -> Mahout in Action +#### Mahout in Action 1. 简单贝叶斯： 2. k-近邻算法： @@ -64,7 +85,7 @@ cat input/15.BigData_MapReduce/inputFile.txt | python src/python/15.BigData_MapR 4. 奇异值分解：Lanczos算法是一个有效的求解近似特征值的算法。 5. k-均值聚类：canopy算法初始化k个簇，然后再运行K-均值求解结果。 -## 使用mrjob库将MapReduce自动化 +#### 使用 mrjob 库将 MapReduce 自动化 > 理论简介 @@ -85,23 +106,12 @@ python mrMean.py < inputFile.txt > myOut.txt python src/python/15.BigData_MapReduce/mrMean.py < input/15.BigData_MapReduce/inputFile.txt ``` -## 利用Pegasos算法并行训练支持向量机 +#### 利用 Pegasos 算法并行训练支持向量机 -> 在MapReduce框架上使用SVM的一般方法 +Pegasos是指原始估计梯度求解器(Peimal Estimated sub-GrAdient Solver) -``` -收集数据：数据按文本格式存放。 -准备数据：输入数据已经是可用的格式，所以不需任何准备工作。如果你需要解析一个大规模的数据集，建议使用map作业来完成，从而达到并行处理的目的。 -分析数据：无。 -训练算法：与普通的SVM一样，在分类器训练上仍需花费大量的时间。 -测试算法：在二维空间上可视化之后，观察超平面，判断算法是否有效。 -使用算法：本例不会展示一个完整的应用，但会展示如何在大数据集上训练SVM。该算法其中一个应用场景就是本文分类，通常在文本分类里可能有大量的文档和成千上万的特征。 -``` +> Pegasos 工作原理 -> Pegasos 算法 - -Pegasos是指原始估计梯度求解器(Peimal Estimated sub-GrAdient Solver)。 -Pegasos算法工作流程是： 1. 从训练集中随机挑选一些样本点添加到带处理列表中 2. 按序判断每个样本点是否被正确分类 * 如果是则忽略 @@ -111,19 +121,30 @@ Pegasos算法工作流程是： 上述算法伪代码如下： ``` -将w初始化为0 +将 w 初始化为0 对每次批处理 - 随机选择k个样本点(向量) + 随机选择 k 个样本点(向量) 对每个向量 如果该向量被错分： - 更新权重向量w - 累加对w的更新 + 更新权重向量 w + 累加对 w 的更新 ``` -我们继续看Python版本的代码实现。 +> 开发流程 + +``` +收集数据：数据按文本格式存放。 +准备数据：输入数据已经是可用的格式，所以不需任何准备工作。如果你需要解析一个大规模的数据集，建议使用 map 作业来完成，从而达到并行处理的目的。 +分析数据：无。 +训练算法：与普通的 SVM 一样，在分类器训练上仍需花费大量的时间。 +测试算法：在二维空间上可视化之后，观察超平面，判断算法是否有效。 +使用算法：本例不会展示一个完整的应用，但会展示如何在大数据集上训练SVM。该算法其中一个应用场景就是本文分类，通常在文本分类里可能有大量的文档和成千上万的特征。 +``` + +我们继续看 Python 版本的代码实现。 * * * -* **作者：[片刻](http://www.apache.wiki/display/~jiangzhonglian) [小瑶](http://www.apache.wiki/display/~chenyao)** +* **作者：[片刻](http://cwiki.apachecn.org/display/~jiangzhonglian) [小瑶](http://cwiki.apachecn.org/display/~chenyao)** * [GitHub地址](https://github.com/apachecn/MachineLearning): * **版权声明：欢迎转载学习 => 请标注信息来源于 [ApacheCN](http://www.apachecn.org/)** diff --git a/images/14.SVD/SVD公式的测试案例.jpg b/images/14.SVD/SVD公式的测试案例.jpg new file mode 100644 index 00000000..85c03420 Binary files /dev/null and b/images/14.SVD/SVD公式的测试案例.jpg differ diff --git a/images/14.SVD/使用SVD简化数据-SVD公式.jpg b/images/14.SVD/使用SVD简化数据-SVD公式.jpg new file mode 100644 index 00000000..970abd76 Binary files /dev/null and b/images/14.SVD/使用SVD简化数据-SVD公式.jpg differ diff --git a/images/14.SVD/使用SVD简化数据-SVD公式.png b/images/14.SVD/使用SVD简化数据-SVD公式.png deleted file mode 100644 index 15f31c5d..00000000 Binary files a/images/14.SVD/使用SVD简化数据-SVD公式.png and /dev/null differ diff --git a/src/python/14.SVD/svdRecommend.py b/src/python/14.SVD/svdRecommend.py index e2a905f6..b0ddb0fa 100644 --- a/src/python/14.SVD/svdRecommend.py +++ b/src/python/14.SVD/svdRecommend.py @@ -52,14 +52,20 @@ def loadExData(): [1, 1, 1, 0, 0], [5, 5, 5, 0, 0]] """ + # # 原矩阵 + # return[[1, 1, 1, 0, 0], + # [2, 2, 2, 0, 0], + # [1, 1, 1, 0, 0], + # [5, 5, 5, 0, 0], + # [1, 1, 0, 2, 2], + # [0, 0, 0, 3, 3], + # [0, 0, 0, 1, 1]] + # 原矩阵 - return[[1, 1, 1, 0, 0], - [2, 2, 2, 0, 0], - [1, 1, 1, 0, 0], - [5, 5, 5, 0, 0], - [1, 1, 0, 2, 2], - [0, 0, 0, 3, 3], - [0, 0, 0, 1, 1]] + return[[0, -1.6, 0.6], + [0, 1.2, 0.8], + [0, 0, 0], + [0, 0, 0]] # 相似度计算，假定inA和inB 都是列向量 @@ -297,12 +303,15 @@ def imgCompress(numSV=3, thresh=0.8): if __name__ == "__main__": # # 对矩阵进行SVD分解(用python实现SVD) - # Data = loadExData() - # print Data - # U, Sigma, VT = linalg.svd(Data) + Data = loadExData() + print 'Data:', Data + U, Sigma, VT = linalg.svd(Data) # # 打印Sigma的结果，因为前3个数值比其他的值大了很多，为9.72140007e+00，5.29397912e+00，6.84226362e-01 # # 后两个值比较小，每台机器输出结果可能有不同可以将这两个值去掉 - # print Sigma + print 'U:', U + print 'Sigma', Sigma + print 'VT:', VT + print 'VT:', VT.T # # 重构一个3x3的矩阵Sig3 # Sig3 = mat([[Sigma[0], 0, 0], [0, Sigma[1], 0], [0, 0, Sigma[2]]]) @@ -326,10 +335,10 @@ if __name__ == "__main__": """ # 计算相似度的方法 - myMat = mat(loadExData2()) + # myMat = mat(loadExData2()) # print myMat # 计算相似度的第一种方式 - print recommend(myMat, 1, estMethod=svdEst) + # print recommend(myMat, 1, estMethod=svdEst) # 计算相似度的第二种方式 # print recommend(myMat, 1, estMethod=svdEst, simMeas=pearsSim)