原标题:hadoop不同版本有哪些
首次听箌hadoop这次单词相信很多人跟我当时是一样,不免心中画上一个大大的问号——这是什么东西Hadoop是什么?百度百科的解释是:Hadoop是一个由Apache基金會所开发的分布式系统基础架构换句话说就是hadoop是一个能够对大量数据进行分布式处理的软件框架。
Hadoopd之所谓会诞生主要是由于进入到大數据时代,计算机需要处理的数据量太过庞大这时就需要将这些庞大数据切割分配到N台计算机进行处理。当大量信息被分配到不同计算機进行处理时要确保最终得到的结果正确就需要对这些分布处理的信息进行管理,hadoop就是这样的一套解决方案
通过一个简单通俗的例子說明:假如说你有一个篮子水果,你想知道苹果和梨的数量是多少那么只要一个一个数就可以知道有多少了。如果你有一个集装箱水果这时候就需要很多人同时帮你数了,这相当于多进程或多线程如果你很多个集装箱的水果,这时就需要分布式计算了也就是Hadoop。
随着這几年大数据浪潮的兴起hadoop的各种版本也快速在国内流传和使用。当前主要的hadoop版本有以下几种:
(1)hadoop通用模块支持其他hadoop模块的通用工具集;
(2)Hadoop分布式文件系统,支持对应数据高吞吐量访问的分布式文件系统;
(3)用于作业调度和集群资源管理的Hadoop YANRN框架;
2、Cloudera hadoop:Cloudera版本层次更加清晰且它提供了适用于各种操作系统的Hadoop安装包,可直接使用apt-get或者yum命令进行安装更加省事。
三、国产hadoop发行版有哪些
国内做hadoop发行版的像华為、大快搜索都有推出自己的发行版华为在硬件上有天然的有事,华为的FusionInsight Hadoop版本基于Apache
大快搜索推出的DKhaoop, 是目前已知的国产发行版中唯一一个純原生态的开发集成了整个HADOOP生态系统的全部组件,并深度优化重新编译为一个完整的更高性能的大数据通用计算平台,实现了各部件嘚有机协调因此DKH相比开源的大数据平台,在计算性能上有了高达5倍(最大)的性能提升