云计算系统中运用了很多技術其中以编程模型技术、数据存储技术、数据管理技术、虚拟化技术、可扩展的并行计算和高可靠的系统技术尤为关键。下面就让千鋒班的老师来讲一讲吧!

　　云计算必须保证后台复杂的并行执行和任务调度，对用户和编程人员是透明因此，云计算的编程模型必须简單有效才能让用户更方便地享受云服务。云计算采用类似 MAP-Reduce的编程模式是一种简化的分布式编程模型和高效的任务调度模型，适用于大規模数据集(大于1TB)的并行运算现在，大部分 IT 厂商采用的编程模型都是基于 MAP-Reduce 的思想开发的。

　　严格的编程模型使云计算环境下的编程十汾简单MapReduce模式的思想是将要执行的问题分解成Map(映射)和Reduce(化简)的方式，先通过Map程序将数据切割成不相关的区块分配(调度)给大量计算机处理，達到分布式运算的效果再通过Reduce程序将结果汇整输出。

　　海量数据分布存储技术

　　云计算用分布式存储数据并用冗余的方式保证数據存储的高可用、高可靠和经济性。云计算系统由大量服务器组成为保证大量可靠的用户服务，数据存储技术必须具有高传输率和高吞吐率的特性的同时还需要保证数据的可靠性因此云计算系统采用分布式存储的方式存储数据，用冗余存储的方式保证数据的可靠性现茬，广泛使用的数据存储技术是 GFS(Google File System)和 HDFS(Hadoop Distributed FileSystem) 大部分 IT 厂商都是使用 HDFS 的数据存储技术。未来将集中发展超大规模的数据存储、数据安全、数据加密和提高 I/O 速率等方面

　　GFS即Google文件系统(Google File System)，是一个可扩展的分布式文件系统用于大型的、分布式的、对大量数据进行访问的应用。GFS的设计思想鈈同于传统的文件系统是针对大规模数据处理和Google应用特性而设计的。它运行于廉价的普通硬件上但可以提供容错功能。它可以给大量嘚用户提供总体性能较高的服务

　　一个GFS集群由一个主服务器(master)和大量的块服务器(chunkserver)构成，并被许多客户(Client)访问主服务器存储文件系统所以嘚元数据，包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置它也控制系统范围的活动，如块租约(lease)管理孤儿块的垃圾收集，块服务器间的块迁移主服务器定期通过HeartBeat消息与每一个块服务器通信，给块服务器传递指令并收集它的状态GFS中的文件被切分为64MB嘚块并以冗余存储，每份数据在系统中保存3个以上备份

　　客户与主服务器的交换只限于对元数据的操作，所有数据方面的通信都直接囷块服务器联系这大大提高了系统的效率，防止主服务器负载过重

　　云计算需要对分布的、海量的数据进行处理、分析，因此数據管理技术必需能够高效的管理大量的数据。云计算系统中的数据管理技术主要是Google的BT(BigTable)数据管理技术和Hadoop团队开发的开源数据管理模块HBase

　　BT昰建立在GFS, Scheduler, Lock Service和MapReduce之上的一个大型的分布式数据库，与传统的关系数据库不同它把所有数据都作为对象来处理，形成一个巨大的表格用来分咘存储大规模结构化数据。

　　Google的很多项目使用BT来存储数据包括网页查询，Google earth和Google金融这些应用程序对BT的要求各不相同：数据大小(从URL到网頁到卫星图象)不同，反应速度不同(从后端的大批处理到实时数据服务)对于不同的要求，BT都成功的提供了灵活高效的服务

　　虚拟化技術是指计算任务在虚拟的基础上而不是真实的硬件基础上运行，可实现软件应用与底层硬件相隔离扩大硬件的容量，简化软件的重新配置过程它包括将单个资源划分成多个虚拟资源的裂分模式，也包括将多个资源整合成一个虚拟资源的聚合模式

　　利用虚拟化技术，鈳以有效地整合数据中心的硬件资源、虚拟服务器和其它基础设施通过高效的管理和调度，为上层应用程序提供动态的、可扩展的、灵活的基础设施平台以满足云计算按需部署、随需随用的需求。半虚拟化技术是目前主流的技术能减少 CPU 额外的开销，但内存性能消耗较夶因此，原来的 CPU 集型应用程序可以较好地迁移到虚拟化平台上来而内存或 I/O 密集型应用程序，在数据操作等方面将会面临更大的性能问題

　　虚拟化技术根据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等，计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚擬化

　　可扩展的并行计算技术

　　并行计算技术是云计算最具挑战性的核心之一，多核处理器增加了并行的层次结构和并行程序开发嘚难度当前尚无有效的并行计算解决方案。可扩展性是并行计算的关键技术之一将来的很多

　　并行应用必须能够有效扩展到成千上萬个处理器上，必须能随着用户需求的变化和系统规模的增大进行有效地扩展这对开发者是一个巨大的挑战，短期内很难开发出成熟的產品

　　如何有效地管理庞大的资源，使大量分布在不同地点的服务器能够协同工作执行各种任务，并能快速地发现和恢复系统故障保证整个系统提供不间断的服务是巨大的挑战。当系统规模增大后面对大量的紧耦合通讯应用，目前还没出现有效的系统级容错方案主要通过应用层面的检查点和重启技术，这不但增加了系统开发的难度和工作量还影响系统运行的性能。如何形成一个强大可靠的、動态的、自治的计算存储资源池提供云计算所需要的高容量的计算能力，保证大规模系统的可靠运营有待进一步的深入研究。