Merge pull request #140 from jiangzhonglian/master

更新 14和15章文档部分
2026-11-03 14:05:40 +08:00 · 2017-09-07 18:24:11 +08:00
parent f2a6285589 2193812b49
commit 057916303b
6 changed files with 109 additions and 69 deletions
--- a/docs/14.利用SVD简化数据.md
+++ b/docs/14.利用SVD简化数据.md
@@ -7,7 +7,7 @@

 ```
 奇异值分解（SVD, Singular Value Decomposition）:
-    提取信息的一种方法，可以把 SVD 看成是从噪声数据中抽取相关特征。从生物信息学到金融学，SVD 是提出信息的强大工具。
+    提取信息的一种方法，可以把 SVD 看成是从噪声数据中抽取相关特征。从生物信息学到金融学，SVD 是提取信息的强大工具。
 ```

 ## SVD 场景
@@ -19,10 +19,10 @@

 ![LSA举例](/images/14.SVD/使用SVD简化数据-LSI举例.png)

-> 推荐引擎
+> 推荐系统

 1. 利用 SVD 从数据中构建一个主题空间。
-2. 再在该空间下计算其相似度。(从高维-低维空间的转化，在低维空间来计算相似度，SVD提升了推荐引擎的效率。)
+2. 再在该空间下计算其相似度。(从高维-低维空间的转化，在低维空间来计算相似度，SVD 提升了推荐系统的效率。)

 ![主题空间案例1](/images/14.SVD/SVD_推荐系统_主题空间案例1.jpg)

@@ -32,6 +32,8 @@

 例如：`32*32=1024 => 32*2+2*1+32*2=130`(2*1表示去掉了除对角线的0), 几乎获得了10倍的压缩比。

+![SVD公式](/images/14.SVD/使用SVD简化数据-SVD公式.jpg)
+
 ## SVD 原理

 ### SVD 工作原理
@@ -39,32 +41,38 @@
 > 矩阵分解

 * 矩阵分解是将数据矩阵分解为多个独立部分的过程。
-* 矩阵分解可以将原始矩阵表示成新的易于处理的形式，这种新形式时两个或多个矩阵的乘积。（类似代数中的因数分解）
+* 矩阵分解可以将原始矩阵表示成新的易于处理的形式，这种新形式是两个或多个矩阵的乘积。（类似代数中的因数分解）
 * 举例：如何将12分解成两个数的乘积？（1，12）、（2，6）、（3，4）都是合理的答案。

 > SVD 是矩阵分解的一种类型，也是矩阵分解最常见的技术

-* SVD 将原始的数据集矩阵Data分解成三个矩阵U、∑、\\(V^T\\)
+* SVD 将原始的数据集矩阵 Data 分解成三个矩阵 U、∑、V
 * 举例：如果原始矩阵 \\(Data_{m*n}\\) 是m行n列，
-    * \\(U_{m*m}\\) 表示m行m列
-    * \\(∑_{m*n}\\) 表示m行n列
-    * \\(V^T_{n*n}\\) 表示n行n列。
+    * \\(U_{m*n}\\) 表示m行n列
+    * \\(∑_{m*k}\\) 表示m行k列
+    * \\(V_{k*n}\\) 表示k行n列。

-![SVD公式](/images/14.SVD/使用SVD简化数据-SVD公式.png)
+\\(Data_{m*n} = U_{m\*k} \* ∑_{k\*k} \* V_{k\*n}\\)

-* 上述分解中会构建出一个矩阵∑，该矩阵只有对角元素，其他元素均为0(近似于0)。另一个惯例就是，∑的对角元素是从大到小排列的。这些对角元素称为奇异值，它们对应原始矩阵 Data 的奇异值。
-* 奇异值与特征值(PCA 数据中重要特征)是有关系的。这里的奇异值就是矩阵 \\(Data * Date^T\\) 特征值的平方根。
+![SVD公式](/images/14.SVD/使用SVD简化数据-SVD公式.jpg)
+
+具体的案例：（大家可以试着推导一下：https://wenku.baidu.com/view/b7641217866fb84ae45c8d17.html ）
+
+![SVD公式](/images/14.SVD/SVD公式的测试案例.jpg)
+
+* 上述分解中会构建出一个矩阵∑，该矩阵只有对角元素，其他元素均为0(近似于0)。另一个惯例就是，∑的对角元素是从大到小排列的。这些对角元素称为奇异值。
+* 奇异值与特征值(PCA 数据中重要特征)是有关系的。这里的奇异值就是矩阵 \\(Data * Data^T\\) 特征值的平方根。
 * 普遍的事实：在某个奇异值的数目(r 个=>奇异值的平方和累加到总值的90%以上)之后，其他的奇异值都置为0(近似于0)。这意味着数据集中仅有 r 个重要特征，而其余特征则都是噪声或冗余特征。

 ### SVD 算法特点

 ```
-优点：简化数据，去除噪声，提高算法的结果
+优点：简化数据，去除噪声，优化算法的结果
 缺点：数据的转换可能难以理解
 使用的数据类型：数值型数据
 ```

-## 推荐引擎
+## 推荐系统

 ### 推荐系统 概述

@@ -87,10 +95,12 @@
 > 基于物品的相似度和基于用户的相似度：物品比较少则选择物品相似度，用户比较少则选择用户相似度。【矩阵还是小一点好计算】

 * 基于物品的相似度：计算物品之间的距离。【耗时会随物品数量的增加而增加】
+* 由于物品A和物品C 相似度(相关度)很高，所以给买A的人推荐C。

 ![SVD公式](/images/14.SVD/使用SVD简化数据-基于物品相似度.png)

 * 基于用户的相似度：计算用户之间的距离。【耗时会随用户数量的增加而增加】
+* 由于用户A和用户C 相似度(相关度)很高，所以A和C是兴趣相投的人，对于C买的物品就会推荐给A。

 ![SVD公式](/images/14.SVD/使用SVD简化数据-基于用户相似度.png)

@@ -111,9 +121,9 @@
    * `相似度= 0.5 + 0.5*( float(inA.T*inB) / la.norm(inA)*la.norm(inB))`
    * 如果夹角为90度，则相似度为0；如果两个向量的方向相同，则相似度为1.0。

-> 推荐引擎的评价
+> 推荐系统的评价

-* 采用交叉测试的方法。
+* 采用交叉测试的方法。【拆分数据为训练集和测试集】
 * 推荐引擎评价的指标： 最小均方根误差(Root mean squared error, RMSE)，也称标准误差(Standard error)，就是计算均方误差的平均值然后取其平方根。
    * 如果RMSE=1, 表示相差1个星级；如果RMSE=2.5, 表示相差2.5个星级。

@@ -126,7 +136,7 @@
    3. 对这些物品的评分从高到低进行排序，返回前N个物品。


-### 项目案例: 餐馆菜肴推荐引擎
+### 项目案例: 餐馆菜肴推荐系统

 #### 项目概述

--- a/docs/15.大数据与MapReduce.md
+++ b/docs/15.大数据与MapReduce.md
@@ -2,31 +2,52 @@

 ![大数据与MapReduce首页](/images/15.BigData_MapReduce/mr_headPage.jpg "大数据与MapReduce首页")

+## 大数据 概述
+
 `大数据: 收集到的数据已经远远超出了我们的处理能力。`

-## MapReduce
+
+## 大数据 场景

 ```
-Hadoop 是 MapRedece框架的一个免费开源实现。
+假如你为一家网络购物商店工作，很多拥护访问该网站，其中有些人会购买商品，有些人则随意浏览后就离开。
+对于你来说，可能很想识别那些有购物意愿的用户。
+那么问题就来了，数据集可能会非常大，在单机上训练要运行好几天。
+接下来：我们讲讲 Hadoop 如何来解决这样的问题
+```
+
+
+## MapReduce 
+
+### Hadoop 概述
+
+```
+Hadoop 是 MapRedece 框架的一个免费开源实现。
 MapReduce: 分布式的计算框架，可以将单个计算作业分配给多台计算机执行。
+```
+
+### MapRedece 原理
+
+> MapRedece 工作原理
+
+* 主节点控制 MapReduce 的作业流程
+* MapReduce 的作业可以分成map任务和reduce任务
+* map 任务之间不做数据交流，reduce 任务也一样
+* 在 map 和 reduce 阶段中间，有一个 sort 和 combine 阶段
+* 数据被重复存放在不同的机器上，以防止某个机器失效
+* mapper 和 reducer 传输的数据形式为 key/value对
+
+![MapReduce框架的示意图](/images/15.BigData_MapReduce/mr_1_cluster.jpg "MapReduce框架的示意图")
+
+> MapRedece 特点
+
+```
 优点: 使程序以并行的方式执行，可在短时间内完成大量工作。
 缺点: 算法必须经过重写，需要对系统工程有一定的理解。
 适用数据类型: 数值型和标称型数据。
 ```

-* MapReduce框架的示意图
-* ![MapReduce框架的示意图](/images/15.BigData_MapReduce/mr_1_cluster.jpg "MapReduce框架的示意图")
-
-> 关于MapRduce的学习要点
-
-* 主节点控制MapReduce的作业流程
-* MapReduce的作业可以分成map任务和reduce任务
-* map任务之间不做数据交流，reduce任务也一样
-* 在map和reduce阶段中间，有一个sort和combine阶段
-* 数据被重复存放在不同的机器上，以防止某个机器实效
-* mapper和reducer传输的数据形式为key/value对
-
-## Python中Hadoop流的使用
+### Hadoop 流(Python 调用)

 > 理论简介

@@ -44,19 +65,19 @@ cat inputFile.txt | python mapper.py | sort | python reducer.py > outputFile.txt
 # 测试 Mapper
 # Linux
 cat input/15.BigData_MapReduce/inputFile.txt | python src/python/15.BigData_MapReduce/mrMeanMapper.py
-# # Window
+# Window
 # python src/python/15.BigData_MapReduce/mrMeanMapper.py < input/15.BigData_MapReduce/inputFile.txt

 # 测试 Reducer
 # Linux
 cat input/15.BigData_MapReduce/inputFile.txt | python src/python/15.BigData_MapReduce/mrMeanMapper.py | python src/python/15.BigData_MapReduce/mrMeanReducer.py
-# # Window
+# Window
 # python src/python/15.BigData_MapReduce/mrMeanMapper.py < input/15.BigData_MapReduce/inputFile.txt | python src/python/15.BigData_MapReduce/mrMeanReducer.py
 ```

-## MapReduce上的机器学习
+### MapReduce 机器学习

-> Mahout in Action
+#### Mahout in Action

 1. 简单贝叶斯：
 2. k-近邻算法：
@@ -64,7 +85,7 @@ cat input/15.BigData_MapReduce/inputFile.txt | python src/python/15.BigData_MapR
 4. 奇异值分解：Lanczos算法是一个有效的求解近似特征值的算法。
 5. k-均值聚类：canopy算法初始化k个簇，然后再运行K-均值求解结果。

-## 使用mrjob库将MapReduce自动化
+#### 使用 mrjob 库将 MapReduce 自动化

 > 理论简介

@@ -85,23 +106,12 @@ python mrMean.py < inputFile.txt > myOut.txt
 python src/python/15.BigData_MapReduce/mrMean.py < input/15.BigData_MapReduce/inputFile.txt
 ```

-## 利用Pegasos算法并行训练支持向量机
+#### 利用 Pegasos 算法并行训练支持向量机

-> 在MapReduce框架上使用SVM的一般方法
+Pegasos是指原始估计梯度求解器(Peimal Estimated sub-GrAdient Solver)

-```
-收集数据：数据按文本格式存放。
-准备数据：输入数据已经是可用的格式，所以不需任何准备工作。如果你需要解析一个大规模的数据集，建议使用map作业来完成，从而达到并行处理的目的。
-分析数据：无。
-训练算法：与普通的SVM一样，在分类器训练上仍需花费大量的时间。
-测试算法：在二维空间上可视化之后，观察超平面，判断算法是否有效。
-使用算法：本例不会展示一个完整的应用，但会展示如何在大数据集上训练SVM。该算法其中一个应用场景就是本文分类，通常在文本分类里可能有大量的文档和成千上万的特征。
-```
+> Pegasos 工作原理

-> Pegasos 算法
-
-Pegasos是指原始估计梯度求解器(Peimal Estimated sub-GrAdient Solver)。
-Pegasos算法工作流程是：
 1. 从训练集中随机挑选一些样本点添加到带处理列表中
 2. 按序判断每个样本点是否被正确分类
    * 如果是则忽略
@@ -111,19 +121,30 @@ Pegasos算法工作流程是：
 上述算法伪代码如下：

 ```
-将w初始化为0
+将 w 初始化为0
 对每次批处理
-    随机选择k个样本点(向量)
+    随机选择 k 个样本点(向量)
    对每个向量
        如果该向量被错分：
-            更新权重向量w
-    累加对w的更新
+            更新权重向量 w
+    累加对 w 的更新
 ```

-我们继续看Python版本的代码实现。
+> 开发流程
+
+```
+收集数据：数据按文本格式存放。
+准备数据：输入数据已经是可用的格式，所以不需任何准备工作。如果你需要解析一个大规模的数据集，建议使用 map 作业来完成，从而达到并行处理的目的。
+分析数据：无。
+训练算法：与普通的 SVM 一样，在分类器训练上仍需花费大量的时间。
+测试算法：在二维空间上可视化之后，观察超平面，判断算法是否有效。
+使用算法：本例不会展示一个完整的应用，但会展示如何在大数据集上训练SVM。该算法其中一个应用场景就是本文分类，通常在文本分类里可能有大量的文档和成千上万的特征。
+```
+
+我们继续看 Python 版本的代码实现。

 * * *

-* **作者：[片刻](http://www.apache.wiki/display/~jiangzhonglian) [小瑶](http://www.apache.wiki/display/~chenyao)**
+* **作者：[片刻](http://cwiki.apachecn.org/display/~jiangzhonglian) [小瑶](http://cwiki.apachecn.org/display/~chenyao)**
 * [GitHub地址](https://github.com/apachecn/MachineLearning): <https://github.com/apachecn/MachineLearning>
 * **版权声明：欢迎转载学习 => 请标注信息来源于 [ApacheCN](http://www.apachecn.org/)**
--- a/images/14.SVD/SVD公式的测试案例.jpg
+++ b/images/14.SVD/SVD公式的测试案例.jpg
--- a/images/14.SVD/使用SVD简化数据-SVD公式.jpg
+++ b/images/14.SVD/使用SVD简化数据-SVD公式.jpg
--- a/images/14.SVD/使用SVD简化数据-SVD公式.png
+++ b/images/14.SVD/使用SVD简化数据-SVD公式.png
--- a/src/python/14.SVD/svdRecommend.py
+++ b/src/python/14.SVD/svdRecommend.py
@@ -52,14 +52,20 @@ def loadExData():
           [1, 1, 1, 0, 0],
           [5, 5, 5, 0, 0]]
    """
+    # # 原矩阵
+    # return[[1, 1, 1, 0, 0],
+    #        [2, 2, 2, 0, 0],
+    #        [1, 1, 1, 0, 0],
+    #        [5, 5, 5, 0, 0],
+    #        [1, 1, 0, 2, 2],
+    #        [0, 0, 0, 3, 3],
+    #        [0, 0, 0, 1, 1]]
+
    # 原矩阵
-    return[[1, 1, 1, 0, 0],
-           [2, 2, 2, 0, 0],
-           [1, 1, 1, 0, 0],
-           [5, 5, 5, 0, 0],
-           [1, 1, 0, 2, 2],
-           [0, 0, 0, 3, 3],
-           [0, 0, 0, 1, 1]]
+    return[[0, -1.6, 0.6],
+           [0, 1.2, 0.8],
+           [0, 0, 0],
+           [0, 0, 0]]


 # 相似度计算，假定inA和inB 都是列向量
@@ -297,12 +303,15 @@ def imgCompress(numSV=3, thresh=0.8):
 if __name__ == "__main__":

    # # 对矩阵进行SVD分解(用python实现SVD)
-    # Data = loadExData()
-    # print Data
-    # U, Sigma, VT = linalg.svd(Data)
+    Data = loadExData()
+    print 'Data:', Data
+    U, Sigma, VT = linalg.svd(Data)
    # # 打印Sigma的结果，因为前3个数值比其他的值大了很多，为9.72140007e+00，5.29397912e+00，6.84226362e-01
    # # 后两个值比较小，每台机器输出结果可能有不同可以将这两个值去掉
-    # print Sigma
+    print 'U:', U
+    print 'Sigma', Sigma
+    print 'VT:', VT
+    print 'VT:', VT.T

    # # 重构一个3x3的矩阵Sig3
    # Sig3 = mat([[Sigma[0], 0, 0], [0, Sigma[1], 0], [0, 0, Sigma[2]]])
@@ -326,10 +335,10 @@ if __name__ == "__main__":
    """

    # 计算相似度的方法
-    myMat = mat(loadExData2())
+    # myMat = mat(loadExData2())
    # print myMat
    # 计算相似度的第一种方式
-    print recommend(myMat, 1, estMethod=svdEst)
+    # print recommend(myMat, 1, estMethod=svdEst)
    # 计算相似度的第二种方式
    # print recommend(myMat, 1, estMethod=svdEst, simMeas=pearsSim)