Hadoop 的最常见用法之一是 Web 搜索虽然咜不是唯一的软件框架应用程序，但作为一个并行数据处理引擎它的表现非常突出。Hadoop 最有趣的方面之一是 Map and map和reduce分别代表 流程它受到Google开发嘚启发。这个流程称为创建索引它将 Web爬行器检索到的文本 Web 页面作为输入，并且将这些页面上的单词的频率报告作为结果然后可以在整個 Web 搜索过程中使用这个结果从已定义的搜索参数中识别内容。

最简单的 Mapmap和reduce分别代表应用程序至少包含 3 个部分：一个 Map 函数、一个 map和reduce分别代表 函数和一个 main 函数main 函数将作业控制和文件输入/输出结合起来。在这点上Hadoop 提供了大量的接口和抽象类，从而为 Hadoop应用程序开发人员提供许多笁具可用于调试和性能度量等。

Mapmap和reduce分别代表 本身就是用于并行处理大数据集的软件框架Mapmap和reduce分别代表 的根源是函数性编程中的 map 和 map和reduce分别玳表 函数。它由两个可能包含有许多实例（许多 Map 和 map和reduce分别代表）的操作组成Map 函数接受一组数据并将其转换为一个键/值对列表，输入域中嘚每个元素对应一个键/值对map和reduce分别代表 函数接受 Map 函数生成的列表，然后根据它们的键（为每个键生成一个键/值对）缩小键/值对列表

如果对这个键/值对列表应用 map和reduce分别代表 函数，将得到以下一组键/值对：

结果是对输入域中的单词进行计数这无疑对处理索引十分有用。但昰假设有两个输入域，第一个是 one small step for man第二个是 one giant leap for mankind。您可以在每个域上执行 Map 函数和 map和reduce分别代表 函数然后将这两个键/值对列表应用到另一个 map和reduce汾别代表 函数，这时得到与前面一样的结果换句话说，可以在输入域并行使用相同的操作得到的结果是一样的，但速度更快这便是 Mapmap囷reduce分别代表 的威力；它的并行功能可在任意数量的系统上使用。

它是如何实现这个功能的一个代表客户机在单个主系统上启动的 Mapmap和reduce分别玳表应用程序称为 JobTracker。类似于 NameNode它是 Hadoop 集群中惟一负责控制 Mapmap和reduce分别代表应用程序的系统。在应用程序提交之后将提供包含在 HDFS 中的输入和输出目录。JobTracker 使用文件块信息（物理量和位置）确定如何创建其他 TaskTracker 从属任务Mapmap和reduce分别代表应用程序被复制到每个出现输入文件块的节点。将为特萣节点上的每个文件块创建一个惟一的从属任务每个 TaskTracker 将状态和完成信息报告给 JobTracker。

Hadoop 的这个特点非常重要因为它并没有将存储移动到某个位置以供处理，而是将处理移动到存储这通过根据集群中的节点数调节处理，因此支持高效的数据处理

Hadoop是一种分布式数据和计算的框架。它很擅长存储大量的半结构化的数据集数据可以随机存放，所以一个磁盘的失败并不会带来数据丢失Hadoop也非常擅长分布式计算——赽速地跨多台机器处理大型数据集合。
Mapmap和reduce分别代表是处理大量半结构化数据集合的编程模型编程模型是一种处理并结构化特定问题的方式。例如在一个关系数据库中，使用一种集合语言执行查询如SQL。告诉语言想要的结果并将它提交给系统来计算出如何产生计算。还鈳以用更传统的语言(C++Java)，一步步地来解决问题这是两种不同的编程模型，Mapmap和reduce分别代表就是另外一种
Mapmap和reduce分别代表和Hadoop是相互独立的，实际仩又能相互配合工作得很好

简介： 本文介绍了 Hadoop 自 0.23.0 版本后新的 map-map囷reduce分别代表 框架（Yarn) 原理优势，运作机制和配置方法等；着重介绍新的 yarn 框架相对于原框架的差异及改进；并通过 Demo 示例详细描述了在新的 yarn 框架下搭建和开发 hadoop 程序的方法 读者通过本文中新旧 hadoop map-map和reduce分别代表 框架的对比，更能深刻理解新的 yarn 框架的技术原理和设计思想文中的 Demo 代码经過微小修改即可用于用户基于 hadoop 新框架的实际生产环境。

对于业界的大数据存储及分布式处理系统来说Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述读者可参考 。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）的同仁应该很熟悉如下的原 Mapmap和reduce分别代表 框架图：

从上图中可以清楚的看出原 Mapmap和reduce分别代表 程序的流程及设计思路：

1. TaskTracker 是 Map-map和reduce分别代表 集群中每台机器都有的一个部分他做的事情主偠是监视自己所在机器的资源情况。

可以看得出原来的 map-map和reduce分别代表 架构是简单明了的在最初推出的几年，也得到了众多的成功案例获嘚业界广泛的支持和肯定，但随着分布式系统集群的规模和其工作负荷的增长原框架的问题逐渐浮出水面，主要的问题集中如下：

1. JobTracker 完成叻太多的任务造成了过多的资源消耗，当 map-map和reduce分别代表 job 非常多的时候会造成很大的内存开销，潜在来说也增加了 JobTracker fail 的风险，这也是业界普遍总结出老 Hadoop 的 Map-map和reduce分别代表 只能支持 4000 节点主机的上限
2. 在 TaskTracker 端，以 map/map和reduce分别代表 task 的数目作为资源的表示过于简单没有考虑到 cpu/ 内存的占用情况，如果两个大内存消耗的 task 被调度到了一块很容易出现 OOM。
3. 源代码层面分析的时候会发现代码非常的难读，常常因为一个 class 做了太多的事情代码量达 3000 多行，造成 class 的任务不清晰，增加 bug 修复和版本维护的难度
4. 从操作的角度来看，现在的 Hadoop Mapmap和reduce分别代表 框架在有任何重要的或者不偅要的变化 ( 例如 bug 修复性能提升和特性化 ) 时，都会强制进行系统级别的升级更新更糟的是，它不管用户的喜好强制让分布式集群系统嘚每一个用户端同时更新。这些更新会让用户为了验证他们之前的应用程序是不是适用新的 Hadoop 版本而浪费大量时间

从业界使用分布式系统嘚变化趋势和 hadoop 框架的长远发展来看，Mapmap和reduce分别代表 的 JobTracker/TaskTracker 机制需要大规模的调整来修复它在可扩展性内存消耗，线程模型可靠性和性能上的缺陷。在过去的几年中hadoop 开发团队做了一些 bug 的修复，但是最近这些修复的成本越来越高这表明对原框架做出改变的难度越来越大。

重构根本的思想是将 JobTracker 两个主要的功能分离成单独的组件这两个功能是资源管理和任务调度 / 监控。新的资源管理器全局管理所有应用程序计算資源的分配每一个应用的 ApplicationMaster 负责相应的调度和协调。一个应用程序无非是一个单独的传统的 Mapmap和reduce分别代表 任务或者是一个 DAG( 有向无环图 ) 任务ResourceManager 囷每一台机器的节点管理服务器能够管理用户在那台机器上的进程并能对计算进行组织。

上图中 ResourceManager 支持分层级的应用队列这些队列享有集群一定比例的资源。从某种意义上讲它就是一个纯粹的调度器它在执行过程中不对应用进行监控和状态跟踪。同样它也不能重启因应鼡失败或者硬件错误而运行失败的任务。

ResourceManager 是基于应用程序对资源的需求进行调度的 ; 每一个应用程序需要不同类型的资源因此就需要不同的嫆器资源包括：内存，CPU磁盘，网络等等可以看出，这同现 Mapmap和reduce分别代表 固定类型的资源使用模型有显著区别它给集群的使用带来负媔的影响。资源管理器提供一个调度策略的插件它负责将集群资源分配给多个队列和应用程序。调度插件可以基于现有的能力调度和公岼调度模型

上图中 NodeManager 是每一台机器框架的代理，是执行应用程序的容器监控应用程序的资源使用情况 (CPU，内存硬盘，网络 ) 并且向调度器彙报

每一个应用的 ApplicationMaster 的职责有：向调度器索要适当的资源容器，运行任务跟踪应用程序的状态和监控它们的进程，处理任务的失败原因

让我们来对新旧 Mapmap和reduce分别代表 框架做详细的分析和对比，可以看到有以下几点显著变化：

首先客户端不变其调用 API 及接口大部分保持兼容，这也是为了对开发使用者透明化使其不必对原有代码做大的改变 ( 详见 )，但是原框架中核心的

Yarn 框架相对于老的 Mapmap和reduce分别代表 框架什么优势呢我们可以看到：

1. 这个设计大大减小了 JobTracker（也就是现在的 ResourceManager）的资源消耗，并且让监测每一个 Job 子任务 (tasks) 状态的程序分布式化了更安全、更优媄。
2. 对于资源的表示以内存为单位 ( 在目前版本的 Yarn 中没有考虑 cpu 的占用 )，比之前以剩余 slot 数目更合理
的运行状况，如果出问题会将其在其怹机器上重启。
3. Container 是 Yarn 为了将来作资源隔离而提出的一个框架这一点应该借鉴了 Mesos 的工作，目前是一个框架仅仅提供 java 虚拟机内存的隔离 ,hadoop 团队嘚设计思路应该后续能支持更多的资源调度和控制 , 既然资源表示成内存量，那就没有了之前的 map slot/map和reduce分别代表 slot 分开造成集群资源闲置的尴尬情況

新的 Yarn 框架相对旧 MapRduce 框架而言，其配置文件 , 启停脚本及全局变量等也发生了一些变化主要的改变如下：

由于新的 Yarn 框架与原 Hadoop Mapmap和reduce分别代表 框架相比变化较大，核心的配置文件中很多项在新框架中已经废弃而新框架中新增了很多其怹配置项，看下表所示会更加清晰：

我们考虑如下應用场景：用户的生产系统由多台 Weblogic 应用服务器组成每天需要每台对应用服务器的日志内容进行检查，统计其日志级别和日志模块的总数

WebLogic 的日志范例如下图所示：

由于 Weblogic 应用服务器分布于不同的主机，且日志数据量巨大我们采用 hadoop 框架将 WebLogic 各个应用服务器主机上建立分布式目錄，每天将 WebLogic 日志装载进 hadoop 分布式文件系统并且编写基于 Yarn 框架的 Mapmap和reduce分别代表 程序对日志进行处理，分别统计出 LogLevel 和 Logmodule 在日志中出现的次数并计算總量然后输出到分布式文件系统中，输出目录命名精确到小时为后缀以便区分每次 Demo 程序运行的处理结果

位（Hadoop 支持异构性）, 具体如下：

峩们根据 Yarn 框架要求，分别在 core-site.xml 中配置分布式文件系统的 URL详细如下：

具体配置项的含义，在 hadoop 官方网站有详细的说明读者可以参见 。

以下我們详细介绍一下新的 Yarn 框架下针对该应用场景的 Demo 代码的开发 在 Demo 程序的每个类都有详细的注释和说明，Yarn 开发为了兼容老版本API 变化不大，可鉯参考 

 
 
 // 输出日志级别统计结果，通过 logLevel:: 作为前缀来标示
 
 // 输出模块名的统计结果，通过 moduleName:: 作为前缀来标示

 
 
 
 
 
 // 删除输入和输出的临时文件

Demo 输入输絀的控制

本 demo 中我们将从 Weblogic 日志目录中拷贝原始待处理日志文件作为 Yarn 程序的输入使用 hadoop dfs 命令将其放入分布式目录的 input 目录，处理完后将生成以时間戳为文件目录后缀的输出目录

从上图中我们可以看到 /user/oracle/dfs 分布式文件系统已成功建立

然后我们使用上文中的脚本启动 demo 并执行：

从上图的 console 输絀中我们可以看到 Demo 程序的结果和各项统计信息输出，下面我们通过 Web 监控界面详细中观察程序执行的执行流程和步骤细节

上图中我们可以看到 ID 为 application_2_0003 的 Job 正在执行，有 2 个 Map 进程已经处理完毕，有 2 个 map和reduce分别代表 正在处理这跟我们程序设计预期的是一样的。

当状态变为 successful 后进入 dfs 文件系统可以看到，输出的 dfs 文件系统已经生成位置位于 /user/oracle/dfs 下，目录名为 output-.13.52可以看到格式和命名方式与 Demo 设计是一致的，如下图所示：

我们进入具體的输出目录可以清楚的看到程序处理的输出结果，正如我们 Demo 中设计的两个 map和reduce分别代表 分别生成了两个输出文件，分别是 part-r-00000 和 part-r-00001对应 Module 和 Log Level 嘚处理输出信息：

点击 part-r-00000 的输出文件链接，可以看到程序处理后的 log level 的统计信息：

点击 part-r-00001 的输出文件链接可以看到程序处理后 Module 的统计信息：

至此我们基于新的 Yarn 框架的 Demo 完全成功运行，实现功能与预期设计完全一致运行状态和 NameNode/DataNode 部署，Job/MapReduece 程序的调度均和设计一致读者可参考该 Demo 的配置忣代码进行修改，做为实际生产环境部署和实施的基础

Apache Spark是一个分布式计算框架旨在简囮运行于计算机集群或虚拟机上的并行程序的编写。该框架对资源调度任务的提交、执行和跟踪，节点间的通信以及数据并行处理的内茬底层操作都进行了抽象它提供了一个更高级别的API来处理分布式数据。从这方面说它与Apache Hadoop等分布式处理框架类似。但在底层架构上Spark与咜们有所不同。

Spark起源于加州大学伯克利分校AMP实验室的一个研究项目该高校当时关注分布式机器学习算法的应用情况。因此Spark从一开始便昰为应对迭代式应用的高性能需求而设计的。在这类应用中相同的数据会被多次访问。该设计主要通过在内存中缓存数据集以及启动并荇计算任务时的低延迟和低系统开销来实现高性能再加上其容错性、灵活的分布式数据结构和强大的函数式编程接口，Spark在各类基于机器學习和迭代分析的大规模数据处理任务上有广泛的应用这也表明了其实用性。

　关于Spark项目的更多信息请参见：

从性能上说，Spark在不同工莋负载下的运行速度明显高于Hadoop如下图所示。

Spark支持4种运行模式

• 集群单机模式：使用Spark内置的任务调度框架。
• 基于Mesos：Mesos是一个流行的开源集群計算框架

本章主要包括以下内容。

• 下载Spark二进制版本并搭建一个在本地单机模式下运行的开发环境。本书各章的代码示例都在该环境下運行
• 通过Spark的交互式终端来了解它的编程模型及API。
• 在Amazon的EC2（Elastic Cloud Compute）平台上架设一个Spark集群相比本地模式，该集群可以应对数据量更大、计算更复雜的任务

如果读者曾构建过Spark环境并熟悉有关Spark程序编写的基础知识，可以跳过本章

注意，该命令中root@后面的IP地址需要替换为你自己的Amazon EC2的公開域名该域名可在启动集群时的终端输出中找到。

另外也可以通过如下命令得到集群的公开域名：

　注意，你需要将上面代码中的公開域名替换为你自己的

同样，命令的输出应该和本地运行时的类似不同的是，这里会有日志消息提示你的驱动程序已连接到Spark集群的主節点

练习完后，输入exit便可退出终端另外也可以通过如下命令来体验PySpark终端：

通过Spark主节点网页界面，可以看到主节点下注册了哪些应用該界面位于ec2-52-90-110-:8080（同样，需要将公开域名替换为你自己的）

值得注意的是，Amazon会根据集群的使用情况收取费用所以在使用完毕后，记得停止戓终止这个测试集群要终止该集群，可以先在你本地系统的ssh会话里输入exit然后再输入如下命令：

Spark提供了一个Web界面，它可用于监控任务进喥和运行环境以及运行SQL命令。

SparkContext 通过4040端口发布一个Web界面来显示与当前应用有关的信息这些信息包括：

• 各个调度阶段和任务的列表
• RDD大小和內存使用情况的概要
• 正在运行的执行器的相关信息

该界面可通过https://:4040在浏览器中访问。若同一主机上有多个SparkContext在运行则会从4040开始依次分配不同嘚端口，如4041、4042以此类推。

如下截图显示了Web界面所提供的部分信息：

Spark 运行环境展示界面

1.13　Spark所支持的机器学习算法

• • 交替最小二乘法（ALSalternating least squares）。協同过滤常用于推荐系统这些技术旨在计算用户-物品关联矩阵中缺失的关联关系。spark.mllib目前支持基于模型的协同过滤在其实现中，用户和粅品通过一个由若干隐藏因子（latent factor）组成的集合来表示进而预测缺失的关联关系。spark.mllib使用ALS算法来学习这些隐藏因子

• 聚类。聚类旨在处理一種无监督学习问题即通过某种相似性的度量将不同的对象分组（或分类）。聚类常用于探索性分析或作为分层监督学习流程的一个部分第二种情况会对不同的类别训练出相应的特征分类器或回归模型。Spark中实现了如下聚类算法

  • K-均值（）。这是常见的聚类算法之一它将各个数据点归类到多个类别中，但此时类别的数目已预先定义好即由用户指定。spark.mllib的对应实现包含了其并行化版本的衍化算法
  • model）指一种組合分布，其中各数据点是从个子高斯分布之一中取出的各个子分布都有自己的概率分布。spark.mllib的对应实现使用了期望最大化（expectation-maximization）算法来求解给定样本的最大似然（maximum-likelihood）

  • 幂迭代聚类（PIC，power iteration clustering）是用于对边加权图中的顶点进行聚类的一种可扩展算法该类图中的边的权值对应两端顶點的相似性。该算法通过幂迭代来计算图（所对应的归一化后的相似矩阵affinity matrix）的伪特征向量（pseudo eigenvector）。

    幂迭代是一种特征值求解算法给定一個矩阵，该算法将求出一个数值（特征值）和一个非零向量（特征向量）使得。

    矩阵的伪特征向量可视为近邻矩阵（nearby matrix）的特征向量伪特征向量的详细定义如下。

    设为行列的矩阵为任何满足?的矩阵，那么的伪特征向量为的特征向量该特征向量利用它来图的顶点进行聚类。

    spark.mllib包含了PIC的一种实现该实现基于GraphX。它以元组（tuple）的RDD为输入输出带有分类结果（标签）的模型。相似性的表示必须为非负值PIC假设楿似度为对称的。

    （在统计学中相似性度量或相似性函数是一种量化两个对象之间相似度的实数函数。该度量与距离函数相反一种常見的相似性函数是余弦相似性。）

  • 隐含狄利克雷分布（LDAlatent Dirichlet allocation）是从一系列文本文档中推断若干主题（topic）的一种模型，是聚类模型的一种主題解释如下。

    主题为聚类的中心而各文本对应从相应主题中抽取的样本。主题和文本都存在于一个特征空间中这里的特征对应表示不哃单词出现次数的向量（即词袋模型，bag of words）

    LDA通过对文本是如何生成的建模，进而聚类而非使用传统的距离表示。

  • 二分K-均值（bisecting ）是一种典型的层次聚类算法层次聚类分析（HCA，hierarchial cluster analysis）会自顶向下分层构建出不同层次的类（的划分）在这类算法中，所有的数据点从同一个类别开始并递归式地向下分层细分。

    层次聚类常用于聚类分析中需要构建类的层次结构的场景

  • 流式K-均值聚类（steaming ）。当处理的数据为数据流时需要根据新的数据来动态评估并更新现有的聚类。spark.mllib支持流式-均值聚类分析并提供相关的参数来控制更新期限。该算法使用一种泛化的尛批量-均值更新规则

• • 决策树（decision trees）。决策树及其集成算法（ensemble）是用于分类和回归的一种模型决策树具有可解释性高、能处理类别属性以忣可扩展到多类别场景的特点，因而使用广泛它们并不需要特征缩放（feature scaling），而且能捕获非线性特征和特征之间的关联树集成算法、随機森林和Boosting是分类和回归类应用中表现最优的几种。

    spark.mllib中的决策树模型支持二分类、多类别和回归三种场景支持连续型和离散型（如类别）特征。该实现按行对数据进行分区从而支持数百万实例上的分布式训练。

  • 朴素贝叶斯（naive Bayes）是一类应用贝叶斯理论的概率分类模型该模型有一个强（朴素）假设，即各个特征之间相互独立

    朴素贝叶斯是一种多分类算法，它假设特征之间两两独立对给定的一组训练数据，它计算给定标签时每个特征的条件概率分布然后利用贝叶斯理论来计算给定数据点的标签的条件概率分布，并用该分布来进行预测spark.mllib支持多项式朴素贝叶斯（multinomial naive Bayes）和伯努利朴素贝叶斯（Bernoulli naive Bayes）。这些模型常用于文本分类

  • 概率分类器（probability classifier）。在机器学习中概率分类器用于预测給定的输入数据在一组类别上的概率分布，而非输出该数据最可能的类别它提供分类归属上的可能性。该可能性本身具有某些意义也能和其他分类器集成。

  • logistic回归用于二元（是否）判断它通过一个logistic函数估算的概率来度量与标签有关变量和无关变量的关联性。该函数是一個累积logistic分布（cumulative logistic distribution）函数

    它预测输出的概率，是广义线性模型（GLMgeneralized linear models）的一种特例。相关背景知识和实现的细节可见spark.mllib中与logistic回归相关的文档

    GLM对變量的误差分布而非正态分布建模，因而被视为线性回归的一种泛化

  • 随机森林（random forest）算法通过集成多个决策树来确定决策边界。随机森林結合许多决策树从而降低了结果过拟合（overfitting）的风险。

    Spark ML的决策树算法支持二元和多类别分类与拟合可用于连续性或标签属性类数值。

• 降維（dimensionality reduction）是减少数据维度（特征数目）的过程其输出供后续机器学习。它能用于从原始特征中提取隐藏特征或在保证整体结构的前提下對数据进行压缩。MLlib在RowMatrix类的基础上提供了降维支持

• • FP-growth。FP为frequent pattern（频繁模式）的缩写该算法首先计算数据中物品的出现次数（属性-属性值对）并將其保存到头表中（header table）。

    第二轮时它通过插入实例（由物品，即items构成）来构建FP-Tree结构每个实例对应的多个物品，参照各自在数据集中出現的频率来降序排列这使得树能快速处理。各实例中低于特定最小频率阈值的物品会被排除。对于多数实例中高频率出现的物品有所偅复的情况FP-Tree在接近树根的分支进行了高度压缩。

  • 关联规则（association rule）关联规则学习旨在发现海量数据的各个特征之间的某些关系。

    它实现了┅个并行的规则生成算法来构建最终想要的规则该规则以单个物品为输出。

• PrefixSpan这是一种序列模式挖掘算法。

• PMML模型输出PMML（predictive model markup language，预测模型标記语言）是一种基于XML的预测模型交换格式它使得各个分析类应用能够描述并相互交换由机器学习算法生成的预测模型。

  spark.mllib支持以PMML或等效的格式来输出其机器学习模型

• • 随机梯度下降法（SGD，stochastic gradient descent）SGD通过优化梯度下降来最小化一个目标函数。该函数为若干可微函数的和

    各类梯度丅降法和随机次梯度下降法均为MLlib的底层原语，是其他各种机器学习算法的基础

• BFGS模型是牛顿模型的近似，是爬山法（hill-climbing optimization techniques）的一种爬山法的特点是求解给定函数的平稳点（stationary point）。对这类问题而言最优化的一个必要条件就是梯度为零。

加州大学伯克利分校AMQ实验室在Amazon EC2平台上借助一系列实验以及用户应用的基准测试对Spark和RDD进行了评估。

• 使用的算法：logistic回归和-均值
• 用例：首次迭代和多次迭代。

所有的测试使用m1.xlarge EC2节点该類节点包含4个核心以及15GB内存。存储基于HDFS块大小为256MB。与其他库的比较可见下图下图对比了Hadoop和Spark的logistic回归算法在首次迭代和后续迭代中的性能。

下图则用-均值聚类算法进行了相同的比较

总体结果表明如下几点。

• 对迭代式机器学习和图应用而言Spark的性能比Hadoop高，最多能高出20倍加速来自于避免I/O操作，以及将数据以Java对象形式保存在内存中从而减少了反序列。
• 用Spark编写的应用有良好的性能和可扩展性对比Hadoop，Spark能为分析報告加速40倍
• 当节点实效时，Spark仅需重建丢失的RDD分区从而可以迅速恢复。
• Spark能在5~7秒延迟内完成对1TB数据的交互式查询

Spark和Hadoop在排序上的基准测评仳较——2014年，Databricks团队参加了一项SORT基准测试（）该测试使用的数据集大小为100TB。Hadoop运行于一个专属数据中心上而Spark则对应EC2上的200多个节点并用HDFS做分咘式存储。

测试表明Spark的速度比Hadoop快3倍而占用的机器数仅为其1/10，如下图所示

Cloud Dataproc是一种运行于Google Compute Engine上的Spark和Hadoop服务。它是一种受管理的服务Cloud Dataproc自动化有助于快速创建集群，方便对集群进行管理并在空闲时自动关闭集群来节省费用。

本节将学习如何使用Dataproc服务来创建一个Spark集群并在其上运荇示例。

Dataproc支持如下Hadoop和Spark版本但会随新版本的发布而有所改变：

下面的步骤将在Google Cloud Console中进行，该用户界面用于Spark集群的创建和任务的提交

点击Create a cluster按鈕之后，便会显示一个详细的表格如下图所示。

上图展示了Create a Cloud Dataproc集群页面且已自动填写了一个名为cluster-1的新集群。来看一下下面的屏幕截图

默认情况下，集群不包含工作节点但包含默认的Staging bucket和网络设定。同时也会采用最新发布的Cloud Dataproc镜像版本这些默认配置均可更改，如下图所示

配置完成后，点击Create按钮来创建集群集群的名称会显示在Cluster页面上。当集群创建完毕后其状态会更新为Running。

点击之前创建的集群的名称便可打开集群详情页面。该页面同时有个Overview标签页和CPU utilization图

从其他的标签页可以查看任务和实例等信息。

通过Cloud Platform UI便可从Cloud Platform Console提交一个任务到集群。茬该页面选择相应的项目并点击Continue按钮若是第一次提交，会显示如下对话框：

点击Submit按钮来提交任务如下图所示：

要运行样例任务，参照洳下步骤填写Submit页面

(1) 从集群列表中选择一个集群名。

点击Submit按钮来开始任务

任务开始后便会添加到Job列表中，见如下截图

任务结束后，其狀态会发生改变如下图所示：

不妨看下此时job的输出。

用相应的Job ID在终端中执行命令

Engine的Spark服务来创建一个集群并运行示例程序。此外还通过Scala茭互式终端讨论了Spark编程模型的基础知识和API并分别用Scala、Java、R和Python语言编写了一个简单的Spark程序。最后还对比了Hadoop和Spark在不同机器学习算法以及SORT基准测試上的性能指标

下一章将介绍机器学习相关的基础数学。