From 6bfbf5b95c06b050d0badec33c6a6f042cbb0d67 Mon Sep 17 00:00:00 2001 From: jiangzhonglian Date: Tue, 5 Sep 2017 12:35:35 +0800 Subject: [PATCH] =?UTF-8?q?=E6=9B=B4=E6=96=B015=E7=AB=A0=E5=86=85=E5=AE=B9?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- docs/15.大数据与MapReduce.md | 101 +++++++++++++++++++++-------------- 1 file changed, 61 insertions(+), 40 deletions(-) diff --git a/docs/15.大数据与MapReduce.md b/docs/15.大数据与MapReduce.md index 109cc0f4..cad066ba 100644 --- a/docs/15.大数据与MapReduce.md +++ b/docs/15.大数据与MapReduce.md @@ -2,31 +2,52 @@ ![大数据与MapReduce首页](/images/15.BigData_MapReduce/mr_headPage.jpg "大数据与MapReduce首页") +## 大数据 概述 + `大数据: 收集到的数据已经远远超出了我们的处理能力。` -## MapReduce + +## 大数据 场景 ``` -Hadoop 是 MapRedece框架的一个免费开源实现。 +假如你为一家网络购物商店工作，很多拥护访问该网站，其中有些人会购买商品，有些人则随意浏览后就离开。 +对于你来说，可能很想识别那些有购物意愿的用户。 +那么问题就来了，数据集可能会非常大，在单机上训练要运行好几天。 +接下来：我们讲讲 Hadoop 如何来解决这样的问题 +``` + + +## MapReduce + +### Hadoop 概述 + +``` +Hadoop 是 MapRedece 框架的一个免费开源实现。 MapReduce: 分布式的计算框架，可以将单个计算作业分配给多台计算机执行。 +``` + +### MapRedece 原理 + +> MapRedece 工作原理 + +* 主节点控制 MapReduce 的作业流程 +* MapReduce 的作业可以分成map任务和reduce任务 +* map 任务之间不做数据交流，reduce 任务也一样 +* 在 map 和 reduce 阶段中间，有一个 sort 和 combine 阶段 +* 数据被重复存放在不同的机器上，以防止某个机器失效 +* mapper 和 reducer 传输的数据形式为 key/value对 + +![MapReduce框架的示意图](/images/15.BigData_MapReduce/mr_1_cluster.jpg "MapReduce框架的示意图") + +> MapRedece 特点 + +``` 优点: 使程序以并行的方式执行，可在短时间内完成大量工作。 缺点: 算法必须经过重写，需要对系统工程有一定的理解。 适用数据类型: 数值型和标称型数据。 ``` -* MapReduce框架的示意图 -* ![MapReduce框架的示意图](/images/15.BigData_MapReduce/mr_1_cluster.jpg "MapReduce框架的示意图") - -> 关于MapRduce的学习要点 - -* 主节点控制MapReduce的作业流程 -* MapReduce的作业可以分成map任务和reduce任务 -* map任务之间不做数据交流，reduce任务也一样 -* 在map和reduce阶段中间，有一个sort和combine阶段 -* 数据被重复存放在不同的机器上，以防止某个机器实效 -* mapper和reducer传输的数据形式为key/value对 - -## Python中Hadoop流的使用 +### Hadoop 流(Python 调用) > 理论简介 @@ -44,19 +65,19 @@ cat inputFile.txt | python mapper.py | sort | python reducer.py > outputFile.txt # 测试 Mapper # Linux cat input/15.BigData_MapReduce/inputFile.txt | python src/python/15.BigData_MapReduce/mrMeanMapper.py -# # Window +# Window # python src/python/15.BigData_MapReduce/mrMeanMapper.py < input/15.BigData_MapReduce/inputFile.txt # 测试 Reducer # Linux cat input/15.BigData_MapReduce/inputFile.txt | python src/python/15.BigData_MapReduce/mrMeanMapper.py | python src/python/15.BigData_MapReduce/mrMeanReducer.py -# # Window +# Window # python src/python/15.BigData_MapReduce/mrMeanMapper.py < input/15.BigData_MapReduce/inputFile.txt | python src/python/15.BigData_MapReduce/mrMeanReducer.py ``` -## MapReduce上的机器学习 +### MapReduce 机器学习 -> Mahout in Action +#### Mahout in Action 1. 简单贝叶斯： 2. k-近邻算法： @@ -64,7 +85,7 @@ cat input/15.BigData_MapReduce/inputFile.txt | python src/python/15.BigData_MapR 4. 奇异值分解：Lanczos算法是一个有效的求解近似特征值的算法。 5. k-均值聚类：canopy算法初始化k个簇，然后再运行K-均值求解结果。 -## 使用mrjob库将MapReduce自动化 +#### 使用 mrjob 库将 MapReduce 自动化 > 理论简介 @@ -85,23 +106,12 @@ python mrMean.py < inputFile.txt > myOut.txt python src/python/15.BigData_MapReduce/mrMean.py < input/15.BigData_MapReduce/inputFile.txt ``` -## 利用Pegasos算法并行训练支持向量机 +#### 利用 Pegasos 算法并行训练支持向量机 -> 在MapReduce框架上使用SVM的一般方法 +Pegasos是指原始估计梯度求解器(Peimal Estimated sub-GrAdient Solver) -``` -收集数据：数据按文本格式存放。 -准备数据：输入数据已经是可用的格式，所以不需任何准备工作。如果你需要解析一个大规模的数据集，建议使用map作业来完成，从而达到并行处理的目的。 -分析数据：无。 -训练算法：与普通的SVM一样，在分类器训练上仍需花费大量的时间。 -测试算法：在二维空间上可视化之后，观察超平面，判断算法是否有效。 -使用算法：本例不会展示一个完整的应用，但会展示如何在大数据集上训练SVM。该算法其中一个应用场景就是本文分类，通常在文本分类里可能有大量的文档和成千上万的特征。 -``` +> Pegasos 工作原理 -> Pegasos 算法 - -Pegasos是指原始估计梯度求解器(Peimal Estimated sub-GrAdient Solver)。 -Pegasos算法工作流程是： 1. 从训练集中随机挑选一些样本点添加到带处理列表中 2. 按序判断每个样本点是否被正确分类 * 如果是则忽略 @@ -111,19 +121,30 @@ Pegasos算法工作流程是： 上述算法伪代码如下： ``` -将w初始化为0 +将 w 初始化为0 对每次批处理 - 随机选择k个样本点(向量) + 随机选择 k 个样本点(向量) 对每个向量 如果该向量被错分： - 更新权重向量w - 累加对w的更新 + 更新权重向量 w + 累加对 w 的更新 ``` -我们继续看Python版本的代码实现。 +> 开发流程 + +``` +收集数据：数据按文本格式存放。 +准备数据：输入数据已经是可用的格式，所以不需任何准备工作。如果你需要解析一个大规模的数据集，建议使用 map 作业来完成，从而达到并行处理的目的。 +分析数据：无。 +训练算法：与普通的 SVM 一样，在分类器训练上仍需花费大量的时间。 +测试算法：在二维空间上可视化之后，观察超平面，判断算法是否有效。 +使用算法：本例不会展示一个完整的应用，但会展示如何在大数据集上训练SVM。该算法其中一个应用场景就是本文分类，通常在文本分类里可能有大量的文档和成千上万的特征。 +``` + +我们继续看 Python 版本的代码实现。 * * * -* **作者：[片刻](http://www.apache.wiki/display/~jiangzhonglian) [小瑶](http://www.apache.wiki/display/~chenyao)** +* **作者：[片刻](http://cwiki.apachecn.org/display/~jiangzhonglian) [小瑶](http://cwiki.apachecn.org/display/~chenyao)** * [GitHub地址](https://github.com/apachecn/MachineLearning): * **版权声明：欢迎转载学习 => 请标注信息来源于 [ApacheCN](http://www.apachecn.org/)**