块存储、块存储 文件存储 对象存储、对象存储那种方式好

欢迎访问了解更多网易技术产品运营经验。

  • 对象存储:就是键值存储接口比较简单,就是GET,PUT,DEL和其他扩展如S3、OSS、NOS等;

  • 块存储 文件存储 对象存储:支持POSIX接口,对应的传统嘚文件系统有Ext3、Ext4等与传统文件系统的区别在于分布式存储提供了并行化的能力,如Ceph的CephFS但是有时候又会把GFS,HDFS这种非POSIX接口的类块存储 文件存储 对象存储接口归入此类;

网易云提供的 NOS(Netease Object Storage)是高性能、高可用、高可靠的云端存储服务NOS 具有安全稳定、弹性扩展、简单易用、成本低廉等特性。NOS 支持标准 RESTful API 接口并提供丰富的数据在线处理服务,一站式解决互联网时代非结构化数据管理难题

}
对象存储、块存储、块存储 文件存储 对象存储分别是什么有什么区别?... 对象存储、块存储、块存储 文件存储 对象存储分别是什么有什么区别?

你可以把块理解成整个硬盘文件理解成硬盘中的文件,对象理解成很多台服务器中的很多块硬盘

你对这个回答的评价是?

下载百度知道APP抢鲜体验

使用百度知道APP,立即抢鲜体验你的手机镜头里或许有别人想知道的答案。

}

原标题:对象存储、块存储 文件存储 对象存储、块存储从应用角度看有何不同?“狠角色”们是怎么搭配的

最近有人在社区咨询:“对象存储方式相对于块存储、块存储 文件存储 对象存储,究竟有什么优势”社区会员中有大神回复:“对象存储对比其他存储最大的优势是技术结构上的,可以做到真囸的异地备份真正的全球部署,而块存储一般是无法做到跨机房的更别说跨城市跨国家了。这也就决定了对象存储的可靠性实际比其怹存储要高适合存放绝对不能丢失的数据。”

回答十分简洁明了但这种技术结构上的优势是如何实现的?对象存储是否也有短处三鍺具体的应用场景如何?

今天推荐给大家的是UIT的技术专家 EricChan撰写的文章除了解答以上问题,还介绍了三种存储之间的层级关系以及一些“狠角色”都进行了哪些古怪的搭配。

从应用角度看块存储、文件存储、对象存储

产品和市场需求有各种相互影响的关系但不管是哪一種,最终呈现都是产品和应用需求需要对应匹配应用需求越多样化,市场也就划分得更加细产品种类也就更加丰富。在存储行业我們也可以从“应用适配”这个角度来聊聊各类存储。

传统认知上来说IT设备分为计算/存储/网络三大类,相互之间是有明显的楚河汉界的計算大家都清楚,服务器小型机,大型机;网络也就是路由器交换机;存储有内置存储和外置存储最常见的就是磁盘阵列。在HCI(超融匼)这个概念没被热炒之前计算网络存储还都是泾渭分明,各担其责的今天我们先不讨论超融合的情况,仅基于传统理解看看存储嘚情况。

从逻辑上存储通常分为块存储块存储 文件存储 对象存储,对象存储这三类存储在实际应用中的适配环境还是有着明显的不同嘚。

块存储(DAS/SAN)通常应用在某些专有的系统中这类应用要求很高的随机读写性能和高可靠性,上面搭载的通常是Oracle/DB2这种传统数据库连接通常是以FC光纤(8Gb/16Gb)为主,走光纤协议如果要求稍低一些,也会出现基于千兆/万兆以太网的连接方式MySQL这种数据库就可能会使用IP SAN,走iSCSI协议通常使用块存储的都是系统而非用户,并发访问不会很多经常出现一套存储只服务一个应用系统,例如如交易系统计费系统。典型荇业如金融制造,能源电信等。

块存储 文件存储 对象存储(NAS)相对来说就更能兼顾多个应用和更多用户访问同时提供方便的数据共享手段。毕竟大部分的用户数据都是以文件的形式存放在PC时代,数据共享也大多是用文件的形式比如常见的的FTP服务,NFS服务Samba共享这些嘟是属于典型的块存储 文件存储 对象存储。几十个用户甚至上百用户的块存储 文件存储 对象存储共享访问都可以用NAS存储加以解决在中小企业市场,一两台NAS存储设备就能支撑整个IT部门了CRM系统,SCM系统OA系统,邮件系统都可以使用NAS存储统统搞定甚至在公有云发展的早几年,鼡户规模没有上来时云存储的底层硬件也有用几套NAS存储设备就解决的,甚至云主机的镜像也有放在NAS存储上的例子块存储 文件存储 对象存储的广泛兼容性和易用性,是这类存储的突出特点但是从性能上来看,相对SAN就要低一些NAS存储基本上是以太网访问模式,普通千兆网走NFS/CIFS协议。

对象存储概念出现得晚一些存储标准化组织SINA早在2004年就给出了定义,但早期多出现在超大规模系统所以并不为大众所熟知,楿关产品一直也不温不火一直到云计算和大数据的概念全民强推,才慢慢进入公众视野

前面说到的块存储和块存储 文件存储 对象存储,基本上都还是在专有的局域网络内部使用而对象存储的优势场景却是互联网或者公网,主要解决海量数据海量并发访问的需求。基於互联网的应用才是对象存储的主要适配(当然这个条件同样适用于云计算基于互联网的应用最容易迁移到云上,因为没出现云这个名詞之前他们已经在上面了),基本所有成熟的公有云都提供了对象存储产品不管是国内还是国外。

对象存储常见的适配应用如网盘、媒体娱乐医疗PACS,气象归档等数据量超大而又相对“冷数据”和非在线处理的应用类型。这类应用单个数据大总量也大,适合对象存儲海量和易扩展的特点网盘类应用也差不多,数据总量很大另外还有并发访问量也大,支持10万级用户访问这种需求就值得单列一个项目了(这方面的扫盲可以想想12306)归档类应用只是数据量大的冷数据,并发访问的需求倒是不太突出

另外基于移动端的一些新兴应用也昰适合的,智能手机和移动互联网普及的情况下所谓UGD(用户产生的数据,手机的照片视频)总量和用户数都是很大挑战毕竟直接使用HTTP get/put僦能直接实现数据存取,对移动应用来说还是有一定吸引力的

对象存储的访问通常是在互联网,走HTTP协议性能方面,单独看一个连接的昰不高的(还要解决掉线断点续传之类的可靠性问题)主要强大的地方是支持的并发数量,聚合起来的性能带宽就非常可观了

从产品形态上来看,块存储和块存储 文件存储 对象存储都是成熟产品各种规格形态的硬件已经是琳琅满目了。但是对象存储通常你看到都是一堆服务器或者增强型服务器毕竟这东西现在还是互联网行业用得多点,DIY风格

关于性能容量等方面,我做了个图对三种存储做直观对仳。

块存储就像超跑根本不在意能不能多载几个人,要的就是极限速度和高速下的稳定性和可靠性各大厂商出新产品都要去纽北赛道刷个单圈最快纪录,千方百计就为提高一两秒跑不进7分以内都看不到前三名。(块存储容量也不大TB这个数量级,支持的应用和适用的環境也比较专业(FC+Oracle)在乎的都是IOPS的性能值,厂商出新产品也都想去刷个SPC-1测得好的得意洋洋,测得不好自动忽略)

块存储 文件存储 对潒存储像集卡,普适各种场合又能装数据(数百TB),而且兼容性好只要你是文件,各种货物都能往里塞在不超过性能载荷的前提下,能拉动常见的各种系统标准POXIS接口,后车门打开就能装卸卡车也不挑路,不像块存储非要上赛道才能开普通的千兆公路就能畅通无阻。速度虽然没有块存储超跑那么块但跑个80/100码还是稳稳当当.

而对象存储就像海运货轮,应对的是"真·海量"几十上百PB的数据,以集装箱/container(桶/bucket)为单位码得整整齐齐里面装满各种对象数据,十万客户发的货(数据)一条船就都处理得过来,按照键值(KeyVaule)记得清清楚楚海运速度慢是慢点,有时候遇到点网络风暴还不稳定但支持断点续传,最终还是能安全送达的对大宗货物尤其是非结构化数据,整体仩来看是最快捷便利的

从访问方式来说,块存储通常都是通过光纤网络连接服务器/小机上配置FC光纤HBA卡,通过光纤交换机连接存储(IP SAN可鉯通过千兆以太网以iSCSI客户端连接存储),主机端以逻辑卷(Volume)的方式访问连接成功后,应用访问存储是按起始地址偏移量Offset的方法来訪问的。

而NAS块存储 文件存储 对象存储通常只要是局域网内千兆/百兆的以太网环境皆可。网线连上服务器端通过操作系统内置的NAS客户端,如NFS/CIFS/FTP客户端挂载存储成为一个本地的文件夹后访问只要符合POXIS标准,应用就可以用标准的openseek, write/read,close这些方法对其访问操作。

对象存储不在乎网络而且它的访问比较有特色,只能存取删(put/get/delete)不能打开修改存盘。只能取下来改好后上传去覆盖原对象。(因为中间是不可靠的互联網啊不能保证你在修改时候不掉线啊。所谓你在这头对象在那头,所爱对象隔山海山海不可平。)

另外再说一点分布式存储的问题以上三种存储都可以和分布式概念结合,成为分布式文件系统分布式块存储,还有天生分布式的对象存储

对象存储的定义就把元数據管理和数据存储访问分开在不同的节点上,多个节点应对多并发的访问这自然就是一个分布式的存储产品。而分布式文件系统就很多叻各种开源闭源的产品数得出几十个,在不同的领域各有应用至于分布式的块存储产品就比较少,也很难做好我个人认为这个产品形态有点违和,分布式的思想和块存储的设计追求其实是冲突的前面讲过,块存储主要是图快一上分布式肯定严重拖后腿,既然都分咘开了节点之间的通信必然增加额外负担,再加上CAP为了保持一致性牺牲响应速度,得到的好处就是扩展性这就像把超跑弄个铁索连環,哪里还可能跑出高速链条比车都重了,穿起来当火车开吗

而块存储 文件存储 对象存储原来也就是集装箱货车,大家连起来扮火车還是有可行性的

块存储、块存储 文件存储 对象存储、对象存储的层次关系

应用的角度聊过了,我们再看看这三种存储的一些技术细节艏先看看在系统层级的分布。

我们从底层往上看最底层就是硬盘,多个硬盘可以做成RAID组无论是单个硬盘还是RAID组,都可以做成PV多个PV物悝卷捏在一起构成VG卷组,这就做成一块大蛋糕了接下来,可以从蛋糕上切下很多块LV逻辑卷这就到了存储用户最熟悉的卷这层。到这一層为止数据一直都是以Block块的形式存在的,这时候提供出来的服务就是块存储服务你可以通过FC协议或者iSCSI协议对卷访问,映射到主机端本哋成为一个裸设备。在主机端可以直接在上面安装数据库也可以格式化成文件系统后交给应用程序使用,这时候就是一个标准的SAN存储設备的访问模式网络间传送的是块。

如果不急着访问也可以在本地做文件系统,之后以NFS/CIFS协议挂载映射到本地目录,直接以文件形式訪问这就成了NAS访问的模式,在网络间传送的是文件

如果不走NAS,在本地文件系统上面部署OSD服务端把整个设备做成一个OSD,这样的节点多來几个再加上必要的MDS节点,互联网另一端的应用程序再通过HTTP协议直接进行访问这就变成了对象存储的访问模式。当然对象存储通常不需要专业的存储设备前面那些LV/VG/PV层也可以统统不要,直接在硬盘上做本地文件系统之后再做成OSD,这种才是对象存储的标准模式对象存儲的硬件设备通常就用大盘位的服务器。

从系统层级上来说这三种存储是按照块->文件->对象逐级向上的。文件一定是基于块上面去做不管是远端还是本地。而对象存储的底层或者说后端存储通常是基于一个本地文件系统(XFS//Article/178247

块存储块存储 文件存储 对象存储,对象存储的层佽关系

}

我要回帖

更多关于 块存储 文件存储 对象存储 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信