mirror of
https://github.com/apachecn/ailearning.git
synced 2026-05-08 14:52:28 +08:00
更新15章内容
This commit is contained in:
jiangzhonglian
@@ -2,31 +2,52 @@
|
||||
|
||||
|
||||
|
||||
## 大数据 概述
|
||||
|
||||
`大数据: 收集到的数据已经远远超出了我们的处理能力。`
|
||||
|
||||
## MapReduce
|
||||
|
||||
## 大数据 场景
|
||||
|
||||
```
|
||||
Hadoop 是 MapRedece框架的一个免费开源实现。
|
||||
假如你为一家网络购物商店工作，很多拥护访问该网站，其中有些人会购买商品，有些人则随意浏览后就离开。
|
||||
对于你来说，可能很想识别那些有购物意愿的用户。
|
||||
那么问题就来了，数据集可能会非常大，在单机上训练要运行好几天。
|
||||
接下来：我们讲讲 Hadoop 如何来解决这样的问题
|
||||
```
|
||||
|
||||
|
||||
## MapReduce
|
||||
|
||||
### Hadoop 概述
|
||||
|
||||
```
|
||||
Hadoop 是 MapRedece 框架的一个免费开源实现。
|
||||
MapReduce: 分布式的计算框架，可以将单个计算作业分配给多台计算机执行。
|
||||
```
|
||||
|
||||
### MapRedece 原理
|
||||
|
||||
> MapRedece 工作原理
|
||||
|
||||
* 主节点控制 MapReduce 的作业流程
|
||||
* MapReduce 的作业可以分成map任务和reduce任务
|
||||
* map 任务之间不做数据交流，reduce 任务也一样
|
||||
* 在 map 和 reduce 阶段中间，有一个 sort 和 combine 阶段
|
||||
* 数据被重复存放在不同的机器上，以防止某个机器失效
|
||||
* mapper 和 reducer 传输的数据形式为 key/value对
|
||||
|
||||
|
||||
|
||||
> MapRedece 特点
|
||||
|
||||
```
|
||||
优点: 使程序以并行的方式执行，可在短时间内完成大量工作。
|
||||
缺点: 算法必须经过重写，需要对系统工程有一定的理解。
|
||||
适用数据类型: 数值型和标称型数据。
|
||||
```
|
||||
|
||||
* MapReduce框架的示意图
|
||||
* 
|
||||
|
||||
> 关于MapRduce的学习要点
|
||||
|
||||
* 主节点控制MapReduce的作业流程
|
||||
* MapReduce的作业可以分成map任务和reduce任务
|
||||
* map任务之间不做数据交流，reduce任务也一样
|
||||
* 在map和reduce阶段中间，有一个sort和combine阶段
|
||||
* 数据被重复存放在不同的机器上，以防止某个机器实效
|
||||
* mapper和reducer传输的数据形式为key/value对
|
||||
|
||||
## Python中Hadoop流的使用
|
||||
### Hadoop 流(Python 调用)
|
||||
|
||||
> 理论简介
|
||||
|
||||
@@ -44,19 +65,19 @@ cat inputFile.txt | python mapper.py | sort | python reducer.py > outputFile.txt
|
||||
# 测试 Mapper
|
||||
# Linux
|
||||
cat input/15.BigData_MapReduce/inputFile.txt | python src/python/15.BigData_MapReduce/mrMeanMapper.py
|
||||
# # Window
|
||||
# Window
|
||||
# python src/python/15.BigData_MapReduce/mrMeanMapper.py < input/15.BigData_MapReduce/inputFile.txt
|
||||
|
||||
# 测试 Reducer
|
||||
# Linux
|
||||
cat input/15.BigData_MapReduce/inputFile.txt | python src/python/15.BigData_MapReduce/mrMeanMapper.py | python src/python/15.BigData_MapReduce/mrMeanReducer.py
|
||||
# # Window
|
||||
# Window
|
||||
# python src/python/15.BigData_MapReduce/mrMeanMapper.py < input/15.BigData_MapReduce/inputFile.txt | python src/python/15.BigData_MapReduce/mrMeanReducer.py
|
||||
```
|
||||
|
||||
## MapReduce上的机器学习
|
||||
### MapReduce 机器学习
|
||||
|
||||
> Mahout in Action
|
||||
#### Mahout in Action
|
||||
|
||||
1. 简单贝叶斯：
|
||||
2. k-近邻算法：
|
||||
@@ -64,7 +85,7 @@ cat input/15.BigData_MapReduce/inputFile.txt | python src/python/15.BigData_MapR
|
||||
4. 奇异值分解：Lanczos算法是一个有效的求解近似特征值的算法。
|
||||
5. k-均值聚类：canopy算法初始化k个簇，然后再运行K-均值求解结果。
|
||||
|
||||
## 使用mrjob库将MapReduce自动化
|
||||
#### 使用 mrjob 库将 MapReduce 自动化
|
||||
|
||||
> 理论简介
|
||||
|
||||
@@ -85,23 +106,12 @@ python mrMean.py < inputFile.txt > myOut.txt
|
||||
python src/python/15.BigData_MapReduce/mrMean.py < input/15.BigData_MapReduce/inputFile.txt
|
||||
```
|
||||
|
||||
## 利用Pegasos算法并行训练支持向量机
|
||||
#### 利用 Pegasos 算法并行训练支持向量机
|
||||
|
||||
> 在MapReduce框架上使用SVM的一般方法
|
||||
Pegasos是指原始估计梯度求解器(Peimal Estimated sub-GrAdient Solver)
|
||||
|
||||
```
|
||||
收集数据：数据按文本格式存放。
|
||||
准备数据：输入数据已经是可用的格式，所以不需任何准备工作。如果你需要解析一个大规模的数据集，建议使用map作业来完成，从而达到并行处理的目的。
|
||||
分析数据：无。
|
||||
训练算法：与普通的SVM一样，在分类器训练上仍需花费大量的时间。
|
||||
测试算法：在二维空间上可视化之后，观察超平面，判断算法是否有效。
|
||||
使用算法：本例不会展示一个完整的应用，但会展示如何在大数据集上训练SVM。该算法其中一个应用场景就是本文分类，通常在文本分类里可能有大量的文档和成千上万的特征。
|
||||
```
|
||||
> Pegasos 工作原理
|
||||
|
||||
> Pegasos 算法
|
||||
|
||||
Pegasos是指原始估计梯度求解器(Peimal Estimated sub-GrAdient Solver)。
|
||||
Pegasos算法工作流程是：
|
||||
1. 从训练集中随机挑选一些样本点添加到带处理列表中
|
||||
2. 按序判断每个样本点是否被正确分类
|
||||
* 如果是则忽略
|
||||
@@ -111,19 +121,30 @@ Pegasos算法工作流程是：
|
||||
上述算法伪代码如下：
|
||||
|
||||
```
|
||||
将w初始化为0
|
||||
将 w 初始化为0
|
||||
对每次批处理
|
||||
随机选择k个样本点(向量)
|
||||
随机选择 k 个样本点(向量)
|
||||
对每个向量
|
||||
如果该向量被错分：
|
||||
更新权重向量w
|
||||
累加对w的更新
|
||||
更新权重向量 w
|
||||
累加对 w 的更新
|
||||
```
|
||||
|
||||
我们继续看Python版本的代码实现。
|
||||
> 开发流程
|
||||
|
||||
```
|
||||
收集数据：数据按文本格式存放。
|
||||
准备数据：输入数据已经是可用的格式，所以不需任何准备工作。如果你需要解析一个大规模的数据集，建议使用 map 作业来完成，从而达到并行处理的目的。
|
||||
分析数据：无。
|
||||
训练算法：与普通的 SVM 一样，在分类器训练上仍需花费大量的时间。
|
||||
测试算法：在二维空间上可视化之后，观察超平面，判断算法是否有效。
|
||||
使用算法：本例不会展示一个完整的应用，但会展示如何在大数据集上训练SVM。该算法其中一个应用场景就是本文分类，通常在文本分类里可能有大量的文档和成千上万的特征。
|
||||
```
|
||||
|
||||
我们继续看 Python 版本的代码实现。
|
||||
|
||||
* * *
|
||||
|
||||
* **作者：[片刻](http://www.apache.wiki/display/~jiangzhonglian) [小瑶](http://www.apache.wiki/display/~chenyao)**
|
||||
* **作者：[片刻](http://cwiki.apachecn.org/display/~jiangzhonglian) [小瑶](http://cwiki.apachecn.org/display/~chenyao)**
|
||||
* [GitHub地址](https://github.com/apachecn/MachineLearning): <https://github.com/apachecn/MachineLearning>
|
||||
* **版权声明：欢迎转载学习 => 请标注信息来源于 [ApacheCN](http://www.apachecn.org/)**
|
||||
|
||||
Reference in New Issue
Block a user