mirror of
https://github.com/apachecn/ailearning.git
synced 2026-11-01 13:04:16 +08:00
片刻
@@ -76,6 +76,47 @@
|
||||
2. Netflix 会向其用户推荐电影
|
||||
3. 新闻网站会对用户推荐新闻频道
|
||||
|
||||
### 推荐系统 要点
|
||||
|
||||
> 基于协同过滤(collaborative filtering) 的推荐引擎
|
||||
|
||||
* 利用Python 实现 SVD(Numpy 有一个称为 linalg 的线性代数工具箱)
|
||||
* 协同过滤：是通过将用户和其他用户的数据进行对比来实现推荐的。
|
||||
* 当知道了两个用户或两个物品之间的相似度，我们就可以利用已有的数据来预测未知用户的喜好。
|
||||
|
||||
> 基于物品的相似度和基于用户的相似度：物品比较少则选择物品相似度，用户比较少则选择用户相似度。【矩阵还是小一点好计算】
|
||||
|
||||
* 基于物品的相似度：计算物品之间的距离。【耗时会随物品数量的增加而增加】
|
||||
|
||||
|
||||
|
||||
* 基于用户的相似度：计算用户之间的距离。【耗时会随用户数量的增加而增加】
|
||||
|
||||
|
||||
|
||||
> 相似度计算
|
||||
|
||||
* inA, inB 对应的是 列向量
|
||||
1. 欧氏距离：指在m维空间中两个点之间的真实距离，或者向量的自然长度（即改点到原点的距离）。二维或三维中的欧氏距离就是两点之间的实际距离。
|
||||
* 相似度= 1/(1+欧式距离)
|
||||
* `相似度= 1.0/(1.0 + la.norm(inA - inB))`
|
||||
* 物品对越相似，它们的相似度值就越大。
|
||||
2. 皮尔逊相关系数：度量的是两个向量之间的相似度。
|
||||
* 相似度= 0.5 + 0.5*corrcoef() 【皮尔逊相关系数的取值范围从 -1 到 +1，通过函数0.5 + 0.5\*corrcoef()这个函数计算，把值归一化到0到1之间】
|
||||
* `相似度= 0.5 + 0.5 * corrcoef(inA, inB, rowvar = 0)[0][1]`
|
||||
* 相对欧氏距离的优势：它对用户评级的量级并不敏感。
|
||||
3. 余弦相似度：计算的是两个向量夹角的余弦值。
|
||||
* 余弦值 = (A·B)/(||A||·||B||) 【余弦值的取值范围也在-1到+1之间】
|
||||
* 相似度= 0.5 + 0.5*余弦值
|
||||
* `相似度= 0.5 + 0.5*( float(inA.T*inB) / la.norm(inA)*la.norm(inB))`
|
||||
* 如果夹角为90度，则相似度为0；如果两个向量的方向相同，则相似度为1.0。
|
||||
|
||||
> 推荐引擎的评价
|
||||
|
||||
* 采用交叉测试的方法。
|
||||
* 推荐引擎评价的指标： 最小均方根误差(Root mean squared error, RMSE)，也称标准误差(Standard error)，就是计算均方误差的平均值然后取其平方根。
|
||||
* 如果RMSE=1, 表示相差1个星级；如果RMSE=2.5, 表示相差2.5个星级。
|
||||
|
||||
### 推荐系统 原理
|
||||
|
||||
* 推荐系统的工作过程：给定一个用户，系统会为此用户返回N个最好的推荐菜。
|
||||
@@ -83,7 +124,6 @@
|
||||
1. 寻找用户没有评级的菜肴，即在用户-物品矩阵中的0值。
|
||||
2. 在用户没有评级的所有物品中，对每个物品预计一个可能的评级分数。这就是说：我们认为用户可能会对物品的打分（这就是相似度计算的初衷）。
|
||||
3. 对这些物品的评分从高到低进行排序，返回前N个物品。
|
||||
* 现在我们来观测代码实现。
|
||||
|
||||
|
||||
### 项目案例: 餐馆菜肴推荐引擎
|
||||
@@ -113,77 +153,55 @@ def loadExData2():
|
||||
[1, 0, 0, 0, 0, 0, 0, 1, 2, 0, 0]]
|
||||
```
|
||||
|
||||
> 分析数据
|
||||
> 分析数据: 暂时不需要
|
||||
|
||||
> 使用算法
|
||||
> 使用算法: 通过调用 recommend() 函数进行推荐
|
||||
|
||||
```python
|
||||
# recommend()函数，就是推荐引擎，它默认调用standEst()函数，产生了最高的N个推荐结果。
|
||||
# 如果不指定N的大小，则默认值为3。该函数另外的参数还包括相似度计算方法和估计方法
|
||||
def recommend(dataMat, user, N=3, simMeas=cosSim, estMethod=standEst):
|
||||
# 寻找未评级的物品
|
||||
# 对给定的用户建立一个未评分的物品列表
|
||||
unratedItems = nonzero(dataMat[user, :].A == 0)[1]
|
||||
# 如果不存在未评分物品，那么就退出函数
|
||||
if len(unratedItems) == 0:
|
||||
return 'you rated everything'
|
||||
# 物品的编号和评分值
|
||||
itemScores = []
|
||||
# 在未评分物品上进行循环
|
||||
for item in unratedItems:
|
||||
estimatedScore = estMethod(dataMat, user, simMeas, item)
|
||||
# 寻找前N个未评级物品，调用standEst()来产生该物品的预测得分，该物品的编号和估计值会放在一个元素列表itemScores中
|
||||
itemScores.append((item, estimatedScore))
|
||||
# 按照估计得分，对该列表进行排序并返回。列表逆排序，第一个值就是最大值
|
||||
return sorted(itemScores, key=lambda jj: jj[1], reverse=True)[: N]
|
||||
```
|
||||
|
||||
|
||||
#### 要点补充
|
||||
|
||||
|
||||
> 基于协同过滤(collaborative filtering)的推荐引擎
|
||||
|
||||
* 利用Python 实现SVD(Numpy 有一个称为linalg的线性代数工具箱)
|
||||
* 协同过滤：是通过将用户和其他用户的数据进行对比来实现推荐的。
|
||||
* 当知道了两个用户或两个物品之间的相似度，我们就可以利用已有的数据来预测未知用户的喜好。
|
||||
|
||||
> 相似度计算
|
||||
|
||||
* inA, inB 对于的为列向量
|
||||
1. 欧氏距离：指在m维空间中两个点之间的真实距离，或者向量的自然长度（即改点到原点的距离）。二维或三维中的欧氏距离就是两点之间的实际距离。
|
||||
* 相似度= 1/(1+欧式距离)
|
||||
* `相似度= 1.0/(1.0 + la.norm(inA - inB))`
|
||||
* 物品对越相似，它们的相似度值就越大。
|
||||
2. 皮尔逊相关系数：度量的是两个向量之间的相似度。
|
||||
* 相似度= 0.5 + 0.5*corrcoef() 【皮尔逊相关系数的取值范围从 -1 到 +1，通过函数0.5 + 0.5\*corrcoef()这个函数计算，把值归一化到0到1之间】
|
||||
* `相似度= 0.5 + 0.5 * corrcoef(inA, inB, rowvar = 0)[0][1]`
|
||||
* 相对欧氏距离的优势：它对用户评级的量级并不敏感。
|
||||
3. 余弦相似度：计算的是两个向量夹角的余弦值。
|
||||
* 余弦值 = (A·B)/(||A||·||B||) 【余弦值的取值范围也在-1到+1之间】
|
||||
* 相似度= 0.5 + 0.5*余弦值
|
||||
* `相似度= 0.5 + 0.5*( float(inA.T*inB) / la.norm(inA)*la.norm(inB))`
|
||||
* 如果夹角为90度，则相似度为0；如果两个向量的方向相同，则相似度为1.0。
|
||||
|
||||
> 基于物品的相似度和基于用户的相似度：物品比较少则选择物品相似度，用户比较少则选择用户相似度。【矩阵还是小一点好计算】
|
||||
|
||||
* 基于物品的相似度：计算物品之间的距离。【耗时会随物品数量的增加而增加】
|
||||
|
||||
|
||||
|
||||
* 基于用户的相似度：计算用户之间的距离。【耗时会随用户数量的增加而增加】
|
||||
|
||||
|
||||
|
||||
> 推荐引擎的评价
|
||||
|
||||
* 采用交叉测试的方法。【就是将某些已知的评分值去掉，然后进行预测，最后计算预测值和真实值之间的差异】
|
||||
* 推荐引擎评价的指标： 最小均方根误差(Root mean squared error, RMSE)，也称标准误差(Standard error)，就是计算均方误差的平均值然后取其平方根。
|
||||
* 如果RMSE=1, 表示相差1个星级；如果RMSE=2.5, 表示相差2.5个星级。
|
||||
|
||||
### 项目案例: 基于 SVD 的图像压缩
|
||||
|
||||
|
||||
### 要点补充
|
||||
|
||||
#### 基于内容(content-based)的推荐
|
||||
> 基于内容(content-based)的推荐
|
||||
|
||||
1. 通过各种标签来标记菜肴
|
||||
2. 将这些属性作为相似度计算所需要的数据
|
||||
3. 这就是：基于内容的推荐。
|
||||
|
||||
#### 构建推荐引擎面临的挑战
|
||||
|
||||
> 问题
|
||||
> 构建推荐引擎面临的挑战
|
||||
|
||||
问题
|
||||
* 1）在大规模的数据集上，SVD分解会降低程序的速度
|
||||
* 2）存在其他很多规模扩展性的挑战性问题，比如矩阵的表示方法和计算相似度得分消耗资源。
|
||||
* 3）如何在缺乏数据时给出好的推荐-称为冷启动【简单说：用户不会喜欢一个无效的物品，而用户不喜欢的物品又无效。】
|
||||
|
||||
> 建议
|
||||
|
||||
建议
|
||||
* 1）在大型系统中，SVD分解(可以在程序调入时运行一次)每天运行一次或者其频率更低，并且还要离线运行。
|
||||
* 2）在实际中，另一个普遍的做法就是离线计算并保存相似度得分。(物品相似度可能被用户重复的调用)
|
||||
* 3）冷启动问题，解决方案就是将推荐看成是搜索问题，通过各种标签／属性特征进行`基于内容的推荐`。
|
||||
|
||||
### 项目案例: 基于 SVD 的图像压缩
|
||||
|
||||
|
||||
* * *
|
||||
|
||||
* **作者：[片刻](http://cwiki.apachecn.org/display/~jiangzhonglian) [1988](http://cwiki.apachecn.org/display/~lihuisong)**
|
||||
|
||||
@@ -25,7 +25,7 @@
|
||||
|
||||
如果你对 p(x,y|c1) 符号很熟悉，那么可以跳过本小节。
|
||||
|
||||
有一个装了 7 块石头的罐子，其中 3 块是灰色的，4 块是黑色的。如果从罐子中随机去除一块石头，那么是灰色石头的可能性是多少？由于取石头有 7 中可能，其中 3 种为灰色，所以取出灰色石头的概率为 3/7 。那么取到黑色石头的概率又是多少呢？很显然，是 4/7 。我们使用 P(gray) 来表示取到灰色石头的概率，其概率值可以通过灰色石头数目除以总的石头数目来得到。
|
||||
有一个装了 7 块石头的罐子，其中 3 块是白色的，4 块是黑色的。如果从罐子中随机取出一块石头，那么是白色石头的可能性是多少？由于取石头有 7 种可能，其中 3 种为白色，所以取出白色石头的概率为 3/7 。那么取到黑色石头的概率又是多少呢？很显然，是 4/7 。我们使用 P(white) 来表示取到白色石头的概率，其概率值可以通过白色石头数目除以总的石头数目来得到。
|
||||
|
||||
|
||||
|
||||
@@ -33,13 +33,13 @@
|
||||
|
||||
|
||||
|
||||
计算 P(gray) 或者 P(black) ，如果事先我们知道石头所在桶的信息是会改变结果的。这就是所谓的条件概率（conditional probablity）。假定计算的是从 B 桶取到灰色石头的概率，这个概率可以记作 P(gray|bucketB) ，我们称之为“在已知石头出自 B 桶的条件下，取出灰色石头的概率”。不难得到，P(gray|bucketA) 值为 2/4 ，P(gray|bucketB) 的值为 1/3 。
|
||||
计算 P(white) 或者 P(black) ，如果事先我们知道石头所在桶的信息是会改变结果的。这就是所谓的条件概率（conditional probablity）。假定计算的是从 B 桶取到白色石头的概率，这个概率可以记作 P(white|bucketB) ，我们称之为“在已知石头出自 B 桶的条件下，取出白色石头的概率”。不难得到，P(white|bucketA) 值为 2/4 ，P(white|bucketB) 的值为 1/3 。
|
||||
|
||||
条件概率的计算公式如下：
|
||||
|
||||
P(gray|bucketB) = P(gray and bucketB) / P(bucketB)
|
||||
P(white|bucketB) = P(white and bucketB) / P(bucketB)
|
||||
|
||||
首先，我们用 B 桶中灰色石头的个数除以两个桶中总的石头数，得到 P(gray and bucketB) = 1/7 .其次，由于 B 桶中有 3 块石头，而总石头数为 7 ，于是 P(bucketB) 就等于 3/7 。于是又 P(gray|bucketB) = P(gray and bucketB) / P(bucketB) = (1/7) / (3/7) = 1/3 。
|
||||
首先，我们用 B 桶中白色石头的个数除以两个桶中总的石头数，得到 P(white and bucketB) = 1/7 .其次，由于 B 桶中有 3 块石头，而总石头数为 7 ，于是 P(bucketB) 就等于 3/7 。于是又 P(white|bucketB) = P(white and bucketB) / P(bucketB) = (1/7) / (3/7) = 1/3 。
|
||||
|
||||
另外一种有效计算条件概率的方法称为贝叶斯准则。贝叶斯准则告诉我们如何交换条件概率中的条件与结果，即如果已知 P(x|c)，要求 P(c|x)，那么可以使用下面的计算方法：
|
||||
|
||||
@@ -57,7 +57,7 @@ P(gray|bucketB) = P(gray and bucketB) / P(bucketB)
|
||||
|
||||
使用上面这些定义，可以定义贝叶斯分类准则为:
|
||||
* 如果 P(c1|x, y) > P(c2|x, y), 那么属于类别 c1;
|
||||
* 如果 P(c1|x, y) > P(c2|x, y), 那么属于类别 c2.
|
||||
* 如果 P(c2|x, y) > P(c1|x, y), 那么属于类别 c2.
|
||||
|
||||
在文档分类中，整个文档（如一封电子邮件）是实例，而电子邮件中的某些元素则构成特征。我们可以观察文档中出现的词，并把每个词的出现或者不出现作为一个特征，这样得到的特征数目就会跟词汇表中的数目一样多。
|
||||
|
||||
|
||||
@@ -100,7 +100,7 @@ def standEst(dataMat, user, simMeas, item):
|
||||
if userRating == 0:
|
||||
continue
|
||||
# 寻找两个用户都评级的物品
|
||||
# 变量overLap 给出的是两个物品当中已经被评分的那个元素
|
||||
# 变量 overLap 给出的是两个物品当中已经被评分的那个元素
|
||||
overLap = nonzero(logical_and(dataMat[:, item].A > 0, dataMat[:, j].A > 0))[0]
|
||||
# 如果相似度为0，则两着没有任何重合元素，终止本次循环
|
||||
if len(overLap) == 0:
|
||||
@@ -120,7 +120,7 @@ def standEst(dataMat, user, simMeas, item):
|
||||
return ratSimTotal/simTotal
|
||||
|
||||
|
||||
# recommend()函数，就是推荐引擎，它会调用standEst()函数，产生了最高的N个推荐结果。
|
||||
# recommend()函数，就是推荐引擎，它默认调用standEst()函数，产生了最高的N个推荐结果。
|
||||
# 如果不指定N的大小，则默认值为3。该函数另外的参数还包括相似度计算方法和估计方法
|
||||
def recommend(dataMat, user, N=3, simMeas=cosSim, estMethod=standEst):
|
||||
# 寻找未评级的物品
|
||||
@@ -162,7 +162,7 @@ def svdEst(dataMat, user, simMeas, item):
|
||||
if userRating == 0 or j == item:
|
||||
continue
|
||||
# 相似度的计算方法也会作为一个参数传递给该函数
|
||||
similarity = simMeas(xformedItems[item, :].T,xformedItems[j, :].T)
|
||||
similarity = simMeas(xformedItems[item, :].T, xformedItems[j, :].T)
|
||||
# for 循环中加入了一条print语句，以便了解相似度计算的进展情况。如果觉得累赘，可以去掉
|
||||
print 'the %d and %d similarity is: %f' % (item, j, similarity)
|
||||
# 对相似度不断累加求和
|
||||
@@ -252,10 +252,10 @@ if __name__ == "__main__":
|
||||
# 计算相似度的第一种方式
|
||||
print recommend(myMat, 1, estMethod=svdEst)
|
||||
# 计算相似度的第二种方式
|
||||
print recommend(myMat, 1, estMethod=svdEst, simMeas=pearsSim)
|
||||
# print recommend(myMat, 1, estMethod=svdEst, simMeas=pearsSim)
|
||||
|
||||
# 默认推荐（菜馆菜肴推荐示例）
|
||||
print recommend(myMat, 2)
|
||||
# print recommend(myMat, 2)
|
||||
|
||||
"""
|
||||
# 利用SVD提高推荐效果
|
||||
|
||||
@@ -90,8 +90,10 @@ def _trainNB0(trainMatrix, trainCategory):
|
||||
p0Num += trainMatrix[i]
|
||||
p0Denom += sum(trainMatrix[i])
|
||||
# 类别1，即侮辱性文档的[P(F1|C1),P(F2|C1),P(F3|C1),P(F4|C1),P(F5|C1)....]列表
|
||||
# 即 在1类别下，每个单词出现次数的占比
|
||||
p1Vect = p1Num / p1Denom# [1,2,3,5]/90->[1/90,...]
|
||||
# 类别0，即正常文档的[P(F1|C0),P(F2|C0),P(F3|C0),P(F4|C0),P(F5|C0)....]列表
|
||||
# 即 在0类别下，每个单词出现次数的占比
|
||||
p0Vect = p0Num / p0Denom
|
||||
return p0Vect, p1Vect, pAbusive
|
||||
|
||||
@@ -111,7 +113,8 @@ def trainNB0(trainMatrix, trainCategory):
|
||||
pAbusive = sum(trainCategory) / float(numTrainDocs)
|
||||
# 构造单词出现次数列表
|
||||
# p0Num 正常的统计
|
||||
# p1Num 侮辱的统计
|
||||
# p1Num 侮辱的统计
|
||||
# 避免单词列表中的任何一个单词为0，而导致最后的乘积为0，所以将每个单词的出现次数初始化为 1
|
||||
p0Num = ones(numWords)#[0,0......]->[1,1,1,1,1.....]
|
||||
p1Num = ones(numWords)
|
||||
|
||||
@@ -151,6 +154,7 @@ def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
|
||||
# 计算公式 log(P(F1|C))+log(P(F2|C))+....+log(P(Fn|C))+log(P(C))
|
||||
# 使用 NumPy 数组来计算两个向量相乘的结果，这里的相乘是指对应元素相乘，即先将两个向量中的第一个元素相乘，然后将第2个元素相乘，以此类推。
|
||||
# 我的理解是：这里的 vec2Classify * p1Vec 的意思就是将每个词与其对应的概率相关联起来
|
||||
# 可以理解为 1.单词在词汇表中的条件下，文件是good 类别的概率 也可以理解为 2.在整个空间下，文件既在词汇表中又是good类别的概率
|
||||
p1 = sum(vec2Classify * p1Vec) + log(pClass1)
|
||||
p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)
|
||||
if p1 > p0:
|
||||
|
||||
Reference in New Issue
Block a user