diff --git a/docs/14.利用SVD简化数据.md b/docs/14.利用SVD简化数据.md index 1765dbe5..995384d4 100644 --- a/docs/14.利用SVD简化数据.md +++ b/docs/14.利用SVD简化数据.md @@ -7,7 +7,7 @@ ``` 奇异值分解(SVD, Singular Value Decomposition): - 提取信息的一种方法,可以把 SVD 看成是从噪声数据中抽取相关特征。从生物信息学到金融学,SVD 是提出信息的强大工具。 + 提取信息的一种方法,可以把 SVD 看成是从噪声数据中抽取相关特征。从生物信息学到金融学,SVD 是提取信息的强大工具。 ``` ## SVD 场景 @@ -19,10 +19,10 @@ ![LSA举例](/images/14.SVD/使用SVD简化数据-LSI举例.png) -> 推荐引擎 +> 推荐系统 1. 利用 SVD 从数据中构建一个主题空间。 -2. 再在该空间下计算其相似度。(从高维-低维空间的转化,在低维空间来计算相似度,SVD提升了推荐引擎的效率。) +2. 再在该空间下计算其相似度。(从高维-低维空间的转化,在低维空间来计算相似度,SVD 提升了推荐系统的效率。) ![主题空间案例1](/images/14.SVD/SVD_推荐系统_主题空间案例1.jpg) @@ -32,6 +32,8 @@ 例如:`32*32=1024 => 32*2+2*1+32*2=130`(2*1表示去掉了除对角线的0), 几乎获得了10倍的压缩比。 +![SVD公式](/images/14.SVD/使用SVD简化数据-SVD公式.jpg) + ## SVD 原理 ### SVD 工作原理 @@ -39,32 +41,38 @@ > 矩阵分解 * 矩阵分解是将数据矩阵分解为多个独立部分的过程。 -* 矩阵分解可以将原始矩阵表示成新的易于处理的形式,这种新形式时两个或多个矩阵的乘积。(类似代数中的因数分解) +* 矩阵分解可以将原始矩阵表示成新的易于处理的形式,这种新形式是两个或多个矩阵的乘积。(类似代数中的因数分解) * 举例:如何将12分解成两个数的乘积?(1,12)、(2,6)、(3,4)都是合理的答案。 > SVD 是矩阵分解的一种类型,也是矩阵分解最常见的技术 -* SVD 将原始的数据集矩阵Data分解成三个矩阵U、∑、\\(V^T\\) +* SVD 将原始的数据集矩阵 Data 分解成三个矩阵 U、∑、V * 举例:如果原始矩阵 \\(Data_{m*n}\\) 是m行n列, - * \\(U_{m*m}\\) 表示m行m列 - * \\(∑_{m*n}\\) 表示m行n列 - * \\(V^T_{n*n}\\) 表示n行n列。 + * \\(U_{m*n}\\) 表示m行n列 + * \\(∑_{m*k}\\) 表示m行k列 + * \\(V_{k*n}\\) 表示k行n列。 -![SVD公式](/images/14.SVD/使用SVD简化数据-SVD公式.png) +\\(Data_{m*n} = U_{m\*k} \* ∑_{k\*k} \* V_{k\*n}\\) -* 上述分解中会构建出一个矩阵∑,该矩阵只有对角元素,其他元素均为0(近似于0)。另一个惯例就是,∑的对角元素是从大到小排列的。这些对角元素称为奇异值,它们对应原始矩阵 Data 的奇异值。 -* 奇异值与特征值(PCA 数据中重要特征)是有关系的。这里的奇异值就是矩阵 \\(Data * Date^T\\) 特征值的平方根。 +![SVD公式](/images/14.SVD/使用SVD简化数据-SVD公式.jpg) + +具体的案例:(大家可以试着推导一下:https://wenku.baidu.com/view/b7641217866fb84ae45c8d17.html ) + +![SVD公式](/images/14.SVD/SVD公式的测试案例.jpg) + +* 上述分解中会构建出一个矩阵∑,该矩阵只有对角元素,其他元素均为0(近似于0)。另一个惯例就是,∑的对角元素是从大到小排列的。这些对角元素称为奇异值。 +* 奇异值与特征值(PCA 数据中重要特征)是有关系的。这里的奇异值就是矩阵 \\(Data * Data^T\\) 特征值的平方根。 * 普遍的事实:在某个奇异值的数目(r 个=>奇异值的平方和累加到总值的90%以上)之后,其他的奇异值都置为0(近似于0)。这意味着数据集中仅有 r 个重要特征,而其余特征则都是噪声或冗余特征。 ### SVD 算法特点 ``` -优点:简化数据,去除噪声,提高算法的结果 +优点:简化数据,去除噪声,优化算法的结果 缺点:数据的转换可能难以理解 使用的数据类型:数值型数据 ``` -## 推荐引擎 +## 推荐系统 ### 推荐系统 概述 @@ -87,10 +95,12 @@ > 基于物品的相似度和基于用户的相似度:物品比较少则选择物品相似度,用户比较少则选择用户相似度。【矩阵还是小一点好计算】 * 基于物品的相似度:计算物品之间的距离。【耗时会随物品数量的增加而增加】 +* 由于物品A和物品C 相似度(相关度)很高,所以给买A的人推荐C。 ![SVD公式](/images/14.SVD/使用SVD简化数据-基于物品相似度.png) * 基于用户的相似度:计算用户之间的距离。【耗时会随用户数量的增加而增加】 +* 由于用户A和用户C 相似度(相关度)很高,所以A和C是兴趣相投的人,对于C买的物品就会推荐给A。 ![SVD公式](/images/14.SVD/使用SVD简化数据-基于用户相似度.png) @@ -111,9 +121,9 @@ * `相似度= 0.5 + 0.5*( float(inA.T*inB) / la.norm(inA)*la.norm(inB))` * 如果夹角为90度,则相似度为0;如果两个向量的方向相同,则相似度为1.0。 -> 推荐引擎的评价 +> 推荐系统的评价 -* 采用交叉测试的方法。 +* 采用交叉测试的方法。【拆分数据为训练集和测试集】 * 推荐引擎评价的指标: 最小均方根误差(Root mean squared error, RMSE),也称标准误差(Standard error),就是计算均方误差的平均值然后取其平方根。 * 如果RMSE=1, 表示相差1个星级;如果RMSE=2.5, 表示相差2.5个星级。 @@ -126,7 +136,7 @@ 3. 对这些物品的评分从高到低进行排序,返回前N个物品。 -### 项目案例: 餐馆菜肴推荐引擎 +### 项目案例: 餐馆菜肴推荐系统 #### 项目概述 diff --git a/images/14.SVD/SVD公式的测试案例.jpg b/images/14.SVD/SVD公式的测试案例.jpg new file mode 100644 index 00000000..85c03420 Binary files /dev/null and b/images/14.SVD/SVD公式的测试案例.jpg differ diff --git a/images/14.SVD/使用SVD简化数据-SVD公式.jpg b/images/14.SVD/使用SVD简化数据-SVD公式.jpg new file mode 100644 index 00000000..970abd76 Binary files /dev/null and b/images/14.SVD/使用SVD简化数据-SVD公式.jpg differ diff --git a/images/14.SVD/使用SVD简化数据-SVD公式.png b/images/14.SVD/使用SVD简化数据-SVD公式.png deleted file mode 100644 index 15f31c5d..00000000 Binary files a/images/14.SVD/使用SVD简化数据-SVD公式.png and /dev/null differ diff --git a/src/python/14.SVD/svdRecommend.py b/src/python/14.SVD/svdRecommend.py index e2a905f6..b0ddb0fa 100644 --- a/src/python/14.SVD/svdRecommend.py +++ b/src/python/14.SVD/svdRecommend.py @@ -52,14 +52,20 @@ def loadExData(): [1, 1, 1, 0, 0], [5, 5, 5, 0, 0]] """ + # # 原矩阵 + # return[[1, 1, 1, 0, 0], + # [2, 2, 2, 0, 0], + # [1, 1, 1, 0, 0], + # [5, 5, 5, 0, 0], + # [1, 1, 0, 2, 2], + # [0, 0, 0, 3, 3], + # [0, 0, 0, 1, 1]] + # 原矩阵 - return[[1, 1, 1, 0, 0], - [2, 2, 2, 0, 0], - [1, 1, 1, 0, 0], - [5, 5, 5, 0, 0], - [1, 1, 0, 2, 2], - [0, 0, 0, 3, 3], - [0, 0, 0, 1, 1]] + return[[0, -1.6, 0.6], + [0, 1.2, 0.8], + [0, 0, 0], + [0, 0, 0]] # 相似度计算,假定inA和inB 都是列向量 @@ -297,12 +303,15 @@ def imgCompress(numSV=3, thresh=0.8): if __name__ == "__main__": # # 对矩阵进行SVD分解(用python实现SVD) - # Data = loadExData() - # print Data - # U, Sigma, VT = linalg.svd(Data) + Data = loadExData() + print 'Data:', Data + U, Sigma, VT = linalg.svd(Data) # # 打印Sigma的结果,因为前3个数值比其他的值大了很多,为9.72140007e+00,5.29397912e+00,6.84226362e-01 # # 后两个值比较小,每台机器输出结果可能有不同可以将这两个值去掉 - # print Sigma + print 'U:', U + print 'Sigma', Sigma + print 'VT:', VT + print 'VT:', VT.T # # 重构一个3x3的矩阵Sig3 # Sig3 = mat([[Sigma[0], 0, 0], [0, Sigma[1], 0], [0, 0, Sigma[2]]]) @@ -326,10 +335,10 @@ if __name__ == "__main__": """ # 计算相似度的方法 - myMat = mat(loadExData2()) + # myMat = mat(loadExData2()) # print myMat # 计算相似度的第一种方式 - print recommend(myMat, 1, estMethod=svdEst) + # print recommend(myMat, 1, estMethod=svdEst) # 计算相似度的第二种方式 # print recommend(myMat, 1, estMethod=svdEst, simMeas=pearsSim)