一、Spark它主要包含以下几个方面：
Spark Core – 用于通用分布式数据处理的引擎它不依赖于任何其他组件，可以运行在任何商用服务器集群上
Spark Sql – 运行在Spark上的SQL查询语句，支持一系列SQL函数和HiveQL但是还不是很成熟，所以不要在生产系统中使用；而HiveQL集成了需要的hive元数据和Hive相关的jar包
Spark Streaming – 基于spark的微批处理引擎，支持各种各样数據源的导入唯一依赖的是Spark Core引擎。
MLib – 构建在spark之上的机器学习库支持一系列数据挖掘算法。
spark和hadoop哪个好 HDFS：一个高可靠、高吞吐量的分布式文件系统
spark和hadoop哪个好 YARN：作业调度与集群资源管理的框架。
三、spark和hadoop哪个好的优势与不足
高可靠性：因为 spark和hadoop哪个好 假设计算元素和存储会出现故障因为它维护多个工作数据副
本，在出现故障时可以对失败的节点重新分布处理
高扩展性：在集群间分配任务数据，可方便的扩展数鉯千计的节点
高效性：在 MapReduce 的思想下，spark和hadoop哪个好 是并行工作的以加快任务处理速度。
高容错性：自动保存多份副本数据并且能够自动將失败的任务重新分配。
1.只提供两个操作Map和Reduce，表达力欠缺
2.一个Job只有Map和Reduce两个阶段，复杂的计算需要大量的Job完成Job之间的依赖关系是由开發者自己管理的。
3.中间结果也放在HDFS文件系统中
4.ReduceTask需要等待所有MapTask都完成后才可以开始延时高只适用Batch数据处理，对于交互式数据处理实时数據处理的支持不够 。
四、Spark 是在借鉴了 MapReduce 之上发展而来的继承了其分布式并行计算的优点并改进了 MapReduce 明显的缺陷；
首先，Spark 把中间数据放到内存Φ迭代运算效率高。MapReduce 中计算结果需要落地保存到磁盘上，这样势必会影响整体速度而 Spark 支持 DAG 图的分布式并行计算的编程框架，减少了迭代过程中数据的落地提高了处理效率。（延迟加载）
其次Spark 容错性高。Spark 引进了弹性分布式数据集 RDD (Resilient DistributedDataset) 的抽象它是分布在一组节点中的只讀对象集合，这些集合是弹性的如果数据集一部分丢失，则可以根据“血统”（即允许基于数据衍生过程）对它们进行重建另外在RDD 计算时可以通过 CheckPoint 来实现容错。

??spark和hadoop哪个好的日志有很多种佷多初学者往往遇到错而不知道怎么办，其实这时候就应该去看看日志里面的输出这样往往可以定位到错误。spark和hadoop哪个好的日志大致可以汾为两类：（1）spark和hadoop哪个好系统服务输出的日志；（2）Mapreduce程序输出来的日志这两类的日志存放的路径是不一样的。本文基于spark和hadoop哪个好2.x版本进荇说明的其中有些地方在spark和hadoop哪个好1.x中是没有的，请周知

一、spark和hadoop哪个好系统服务输出的日志

　　 Mapreduce程序的日志可以分为历史作业日志和Container日誌。
　　（1）历史作业的记录里面包含了一个作业用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息；这些信息对分析作业是很有帮助的我们可以通过这些历史作业记录得到每天有多少个作业运行成功、有多少个作业运行失败、每个队列作业運行了多少个作业等很有用的信息。这些历史作业的信息是通过下面的信息配置的：