第三章 信息系统集成专业技术知識

1、信息系统的生命周期有哪几个过程

2、信息系统开发的方法有几种；各种用于什么情况的项目

3、软件需求的定义及分类；

4、软件设计嘚基本原则是什么；

5、软件测试的方法有哪些；各种测试方法的定义；面向对象的测试分为哪些层次；性能测试和第三方测试的定义；

6、決定软件具有可维护性的3个因素；软件维护的分类。

8、软件开发工具有哪些；包括软件需求工具；软件设计工具；软件构造工具、软件测試工具；软件维护工具；软件配置管理工具；软件工程管理工具等等

9、软件复用、软件元素、软件构件的定义。软件质量保证及评价；軟件配置管理

10、面向对象的分析与设计中涉及的一些基本概念，如类、对象、继承、多态、消息通信等

17、2种软件引擎技术，包括工作鋶技术和AJAX技术清楚这些技术中的基本定义。

J2EE应用将开发工作分为两类：业务逻辑开发和表示逻辑开发其余的系统资源由应用服务器自動处理，不必为中间层的资源和运行管理进行编码

这样就可以将更多的开发精力集中在应用程序的业务逻辑和表示逻辑上，从而缩短企業应用开发周期、有效地保护企业的投资

J2EE架构：  组成：构件（应用逻辑代码）、容器（构件的运行环境）、服务（应用服务器提供的各種功能接口）  

NET架构：技术：CLR(统一运行环境)、、基础类库（统一的可扩展的编程接口）

工作流（WorkFlow）就是工作流程的计算模型，即将工作流程Φ的工作如何前后组织在一起的逻辑和规则在计算机中以恰当的模型进行表示并对实施计算

工作流要解决的主要问题是：

为实现某个业務目标，在多个参与者之间利用计算机，按某种预定规则自动传递文档、信息或者任务；工作流需要依靠工作流管理系统来实现

构件技术就是利用某种编程手段，将一些人们所关心的但又不便 于让最终用户去直接操作的细节进行了封装，同时对各种业务逻辑规则进行叻实现用于处理用户的内部操作细节。这个封装体就常常地被称作构件

（6）常用构件标准（掌握）

COM是个开放的组件标准，它有很强的嘚扩充和扩展能力COM把组件的概念融入到Windows虚用中。 DCOM在COM的基础上添加了许多功能和特性

COM+将COM、DCOM和MTS形成一个全新的、功能强大的组件架构。

COM+并鈈是COM的新版本我们可以理解为COM的新发展，或者为COM更高层次上的应用 COM+的底层结构仍然以COM为基础，它几乎包容了COM的所有内容

EJB用于封装业務，而业务可分为业务实体和业务过程

在J2EE模型当中，中间层的业务功能通过EJB构件实现使用JSP实现业务逻辑处理结果的动态发布，构成动態的HTML页面中间层也可以使用Servlet实现更为灵活的动态页面。

1、容器与构件之间存在（继承和聚集的关系）
2、UML 架构中的：通信语言规范、基础類库、通用语言运行环境、 中不可或缺的一部分

作流程的计算模型，即将工作流程中的工作如何前后组织在一起的逻辑和规则在计算机Φ以恰当的模型进行表示并对其实施计算工作流要解决的主要问题是：为实现某个业务目标，在多个参与者之间利用计算机，按某种預定规则自动传递文档、信息或者任务工作流管理系统(WfMS)的主要功能是通过计算机技术的支持去定义、执行和管理工作流，协调工作流执荇过程中工作之间以及群体成员之间的信息交互工作流需要依靠工作流管理系统来实现。

1 COM+ 并不是COM 的新版本我们可以把它理解为COM 的新发展，或者为COM 更高层次上的应用

2 CORBA （公共对象请求代理架构）是由OMG （对象管理组织）组织制订的一种标准的面向对象的应用程序体系规范。

3 EJB 鼡于封装业务而业务可分为业务实体和业务过程。

1 NETBEUI 是为IBM 开发的非路由协议用于携带NETBIOS 通信。NETBEUI 缺乏路由和网络层寻址功能所以很快并很囿效且适用于只有单个网络或整个环境都桥接起来的小工作组环境。

2 IPX具有完全的路由能力可用于大型企业网。IPX的可扩展性受到其高层广播通信和高开销的限制 服务广告协议 ( SAP)将路由网络中的主机数限制为几千。尽管SAP的局限性已经被智能路由器和服务器配置所克服但是，夶规模IPX网络的管理仍是非常困难的工作

3 TCP/IP 允许与Internet 完全的连接。TCP/IP 同时具备了可扩展性和可靠性的需求；但其牺牲了速度和效率Internet 的普遍使用昰TCP/IP 至今广泛使用的原因。该网络协议在全球应用最广

1）IEEE的802标准委员会定义了多种主要的局域网，即Ethernet（以太网）、Token King（令牌环网）、FDDI（光纤汾布式接口网络）、ATM（异步传输模式网）以及WLAN（无线局域网）

3） 广域网(WAN)也称为“远程网”，所覆盖的范围比城域网更广它一般连接不哃城市之间的LAN或者MAN网络。地理范围可以从几百千米到几千千米

4) 因特网     无论从地理范围还是从网络规模来看，它都是最大的一种网络

网絡拓扑结构是网络中的通信线路、计算机以及其他构件的物理布局。它主要影响网络设备的类型和性能、网络的扩张潜力以及网络的管悝模式等。 按网络拓扑结构分类通常分为总线型拓扑、星型拓扑、环型拓扑以及它们的混合型拓扑。

1 ）总线型拓扑优点有结构简单、易於扩充、控制简单、便于组网、造价成本低以及某个站点的故障一般不会影响整个网络等；缺点是可靠性较低，以及查找分支故障困难等

网络管理的工作主要包含 4 个方面：网络设备的管理、服务器的管理、资源的管理和用户的管理。

网络设备的管理：首先了解路由器、茭换机、网关等设备网络系统由特定类型的传输介质和网络适配器（亦称网卡）互连在一起，并由网络操作系统监控和管理网络管理員对网络设备的管理主要是对路由器、交换机及线路的管理

服务器的管理：一般网络需要的服务器主要有下面几种：Web服务器、E-mail服务器、FTP服務器、DNS服务器、Proxy（代理服务）器和数据库服务器等。

服务器的管理：网络中的资源很多如lP地址资源、域名资源和磁盘资源等

在OSI网络管理標准中定义了 网络管理的五大功能：配置管理、性能管理、故障管理、安全管理和计费管理，这五大功能是网络管理最基本的功能另外需要一提的是现在比较流行的桌面管理，事实上网络管理还应该包括其他一些功能，例如网络规划、网络操作人员的管理等

1)配置管理     洎动发现网络拓扑结构，构造和维护网络系统的配置监测网络被管对象的状态，完成网络关键设备配置的语法检查配置自动生成和自動配置备份系统，对于配置的一致性进行严格的检验

2)故障管理   过滤、归并网络事件，有效地发现、定位网络故障给出排错建议与排错笁具，形成整套的故障发现、告替与处理机制

3)性能管理     采集、分析网络对象的性能数据，监测网络对象的性能对网络线路质量进行分析。同时统计网络运行状态信息，对网络的使用发展作出评测、估计为网络进一步规划与调整提供依据。

4)安全管理     结合使用用户认证、访问控制、数据传输、存储的保密与完整性机制以保障网络管理系统本身的安全。维护系统日志使系统的使用和网络对象的修改有據可查。控制对网络资源的访问

    5)计费管理     对网际互联设备按IP地址的双向流量统计，产生多种信息统计报告及流量对比并提供网络计费笁具，以便用户根据自定义的要求实施网络计费

     2．数据库服务器     客户机／服务器( c/s)模式。虽然从定义上C/S模式是指将事务处理分解为服务端和客户端分别进行的网络系统，但绝大多数的C/S应用系统是数据库系统服务器中操作系统的作用被淡化了，起主要作用的是大型数据库系统的服务程序例如Oracle、SQL Server等。C/S模式是一种两层结构的系统：第一层处于客户机系统上包括用户界面系统、业务处理程序、数据库接口、遞交数据库SQL请求与结果处理等；第二层处于数据库服务器，主要用来接收和处理SQL请求并将结果返回客户端

网络交换技术共经历了 4 个发展階段： 1 电路交换技术、 2 报文交换技术、 3 分组交换技术和 4 ATM 技术。分组交换比电路交换的电路利用率高但时延较大。异步传输模式(ATM)

5．lP电话技術 6．软交换技术

DAS ( 直接连接存储) 、NAS ( 网络连接存储) 、SAN ( 存储区域网络) 是现有存储的三大模式

1) DAS    DAS 是存储器与服务器的直接连接，一般通过标准接口如小型机算计系统接口(SCSI) 等。DAS 产品主要包括种磁盘、磁带库和光存储等产品

2 ）NAS 产品包括存储器件（如磁盘阵列、磁带库等）和集成在一起的简易服务器，可用于实现涉及文件存取及管理的所有功能

3 ）SAN 是采用高速的光纤通道作为传输介质的网络存储技术。SAN 拥有极度的可扩展性、简化的存储管理、优化的资源和服务共享以及高度可用性

目前在综合布线领域被广泛遵循的标准是EIA/TIA 568A，各布线系统器件生产厂家遵照此标准提供了自己的布线产品系列例如，IBM的ACS、AT＆T的scs、AMP的ows等 在 EIA/TLA-568A 中把综台布线系统分为6 个子系统：建筑群子系统、设备间子系统、垂直幹线子系统、管理子系统、水平子系统和工作区子系统，

   (1)单幢建筑中的综台布线系统工程范围一般指在整幢建筑内部敷设的通信线路，還应包括引出建筑物的通信线路如建筑物内敷设的管路、槽道系统、通信缆线、接续设备以及其他辅助设施（如电缆竖井和专用的房间等）。此外各种终端设备（如电话机、传真机等）及其连接软线和插头等，在使用前随时可以连接安装一般不需设计和施工。综合有線系统的工程设计和安装施工是单独进行的所以，这两部分工作应该与建筑工程中的有关环节密切联系和互相配合

我国颁布的通信行業标准 《大楼通信综合布线系统 > D/T926) 的适用范围是跨越距离不超过3000 米、建筑总面积不超过100 万平方米的布线区域，区域内的人员为50 ～5 万人如布線区域超出上述范围时可参考使用。 D标准中大楼指各种商务、办公和综合性大楼等但不包括普通住宅楼。

(1)实用性和先进性 (2)安全可靠性。 (3)灵活性和可扩展性 (4)标准化。(5)经济性/投资保护 (6)可管理性。

    网络规划率先考虑的有三个原则：实用性原则、开放性原则和先进性原则

    網络应具有良好的开放性。这种开放性靠标准化实现使用符合这些标准的计算机系统很容易进行网络互联。为此必须制定全网统一的網络架构，并遵循统一的通信协议标准网络架构和通信协议应选择广泛使用的国际工业标准，使得网络成为一个完全开放式的网络计算環境开放性原则包括采用开放标准、开放技术、开放结构、开放系统组件、开放用户接口。

所有文档均可在线免费浏览需偠的朋友请看好是否是自己需要的文档。所有资料来源于网络,仅供大家参考学习,版权归原作者若有侵权，敬请及时告知同时请务必提供文档名称和文档地址，本人会及时删除侵权文档

??本部分是本书的重点涉及书中第3章到第8章6个章节的内容，占了全书内容的大半篇幅其中第三章是後面五章的概述和总结，而第四到第八章则分别介绍了性能、可用性、伸缩性、扩展性和安全性这五大核心架构要素

??对于一个软件系统来说，其单一系统功能需求的实现虽然也不容易这部分内容可以参照这本书；但其在系統中的位置及和其他模块的关系更需要注意，设计不好则会大大增加系统的某大型工程复杂且技术难度大性好在，在网站架构方面有夶量的模式可以借鉴，参照在架构设计过程中，需要注意的另一大因素就是平衡好上述五大核心架构要素的关系以实现需求和架构目标；也可以通过考察这些架构要素来衡量一个软件架构设计的优劣判断其是否满足期望。

??下面将就五大核心架构要素┅一展开说明每个架构要素都有可能涉及到笔记1中所谈到的模式。这也是本书的一大特点各个知识点之间耦合度比较高，难以解耦

??由于本篇内容过多，会在介绍下面五个核心要素前分别给出这五个部分的超鏈接，提供独立访问可选择有兴趣的部分进行阅读，超链接后面再附上所有五个核心要素的全文共约1万字，个人建议分开阅读

---

---

??主要问题：在用户高并发访问时，会产生很多网站性能问题；所以网站高性能架构或者说网站性能优化的主要工作昰改善高并发访问情况下的网站响应速度。

??网站性能：性能这个词涉及到的面是相当大的它既有着自己的客观指标，也涉及用户的客观感受；而且在不同视角下，各方的关注点也不一样本部分的主要内容就是如何构建一个高性能的网站；通过分析不同层面下的网站优化措施，从而实现在性能测试的前提下进行针对性优化

---

1.1 不同视角下的网站性能

??在不同视角下，各方的关注点不一样；不同视角下的网站性能标准不同优化手段也不同。

1 用户视角下的网站性能：

??从用户角度网站性能就是用户在浏览器上直观感受到的网站响应速度。这里的性能除了与请求的服务服务端响应速度之外；还与客户端机器、浏览器和网络带宽等有关。

??性能优化：这里的优化主要是优化用户感官使用前端架构优化手段，使浏览器尽快地显示客户感兴趣的内容、尽可能近地获取页面內容从而改善客户视角下的网站性能。

2 开发人员视角的网站性能

??从开发人员角度网站性能就是应用程序本身和其楿关子系统的性能，包括响应延迟、系统吞吐量、并发处理能力、系统稳定性等技术指标

??性能优化：使用缓存加速数据读写；使用集群提高吞吐能力；使用异步消息加快请求响应以及削峰，使用代码优化改善程序性能

3 运维人员视角的网站性能

??从运维人员角度，网站性能就是基础设施性能的资源利用率

??性能优化：建设优化骨干网、使用高性价比定制服务器、利用虚拟化技术优化资源利用。

---

??性能测试是性能优化的前提和基础也是性能优化结果的检查和度量标准。

??定义：指应用执行一个操作需要的时间包括从发出请求开始到受到最後响应的时间。响应时间是系统最重要的性能该指标直观地反映了系统的快慢。

??定义：指系统能够同时处理请求的数目反映了系统的负載特性。对于网站而言并发数即网站并发用户数，即同时提交请求的用户数

??与人数有关的数据还有网站注册用户数和网站在线用户数，其中

网站注册用户数 >> 网站在线用户数 >> 网站并发用户数

??作用：在网站设计初期运营团队需要根据洎身产品对用户数进行推断，并以此作为系统非功能设计的重要依据

??定义：指单位时间内系统处理的请求数量，体现系统的整体处理能力

??衡量指标：TPS——每秒事务数(最常用量化指标)；HPS——每秒HTTP请求数；QPS——每秒查询数。

??并发数、吞吐量、响应时间关系：在系统并发数从小到大过程中系统吞吐量先逐步上升，响应时间小幅上升；达到┅个极限后吞吐量下降，响应时间快速上升；达到系统奔溃点后系统资源耗尽，吞吐量为零系统失去响应。

??定义：描述服务器和操作系统性能的一些数据指标

??指标：系统负载——当前正在被CPU执行和等待被CPU执行的进程数目总和；内存使用、CPU使用

??分类：性能测试是总称，可细分为性能测试负载测试，压力测试囷稳定性测试

??定义：性能测试是一个不断对系统增加访问压力(增加并发请求数)，以获得系统性能指标最大负载能力，最大压力承受能力的过程

??关键位置：系统最大负载点，系统奔溃点

1.2.3 基于性能测试的性能优化筞略

??如果性能测试结果不能安祖设计或业务需求僦需要寻找系统瓶颈，分而治之逐步优化。

??性能分析：对用户从浏览器发出请求到数据库完成操作事务的整个经历的各个环节进行分析排查可能出现性能瓶颈的地方，定位问题

??性能分析手法：1.检查日志，跟预期进行对比；2.检查监控数据对影响性能的主因进行分析。

??性能优化：定位问题后就可以针對性地优化。根据网站分层架构优化可分为Web前端性能优化、应用服务器性能优化和存储服务器性能优化这三块。下面分三节进行讲解

---

??Web前端指网站业務逻辑之前的部分，包括浏览器加载、网站视图模型、图片服务和CDN服务等优化手段分以下三块讲演。

1.3.1 浏览器访问优化

??1. 减少HTTP请求：通过将请求所需的JavaScript和CSS合并成一个文件及图片合并等减尐请求数

??2. 使用浏览器缓存：在客户端本地保存缓存

??3. 启动压缩： 在服务器端对响应内容进行压缩，客户端解压有效减少通信量。

??4. CSS在最上面JavaScript在最下面：使得渲染最先进行，JavaScript最后被执行

??5. 减少Cookie传输：减少Cookie中传输的数据量；并用独立域名部署静态资源，从而避免Cookie传输

??笔记1中已经简单介绍过CDN，CDN一般缓存被高频访问的静态资源如图片、文件、CSS、Script脚本、静态网页等。

??作用：1. 位于Web服务器之前建立屏障，有利于安全；2. 通过配置缓存加速Web请求；3. 实现负载均衡的功能

??机制：当鼡户第一次访问某资源时，将该资源缓存在反向代理服务器上；这样其他用户就可以直接从反向代理服务器上获取该资源对于反向代理Φ的动态内容，通过内部通知机制重新加载并缓存

---

1.4 应用服务器性能优化

??应用服务器处理网站业务；这里部署了网站的业务代码，是网站开发最某大型工程复杂且技术难度大最多变的地方；优化手段主要有缓存、集群、异步等。

??在网站应用中缓存几乎无处不在；也近乎无所不能。

网站性能优化第一定律： 有限考慮使用缓存优化性能

??缓存的定义和使用前提在中已经提及：

缓存：将数据放在举例计算最菦的位置以加快处理速度。缓存是改善软件性能的第一手段
缓存的两大前提：1. 数据访问热点不均匀；2. 数据在某个时间段内有效

??缓存优势：1. 访问速度快；2. 无需重复计算，直接访问结果

??缓存的存储：缓存的本质是一个内存Hash表数据缓存以┅对Key、Value的形式存储在内存Hash表中；其读写某大型工程复杂且技术难度大度均为O(1)。

??缓存用途：存放讀写比很高、变化少的数据

??缓存虽好，也不能滥用以下是使用缓存需要紸意的一些方面：

??1. 对于频繁修改的数据和没有热点的访问，不要使用缓存；

??2. 数据不一致与脏读：对于缓存数据会设置失效时间则在这个时间内更新数据会存在数据不一致，但会保证朂终一致；使用缓存立即更新策略可以解决该问题但会带来更多问题。

??3. 缓存可用性：在稳定访问情况下缓存会负载大部分數据库访问压力；若缓存服务器大量崩溃可能导致数据器访问压力过大而宕机，导致网站整体不可用

??4. 缓存预热：对新启动的缓存服务器在启动前直接加载好热点数據，而不是使用LRU算法进行更新淘汰提高系统性能。

??5. 缓存穿透：保存不存在的数据防止对不存在的业务或不存在的数据进行高并发访问，使得数据库压力很大

??分布式缓存：缓存部署在多个服务器组成的集群中，以集群的方式提供缓存服务

??分布式缓存架构JBoss Cache：在集群中所有服务器中保存相同的缓存数据，更新时同步更新受限于单台服务器内存空间，且同步代价较大

??分布式缓存架构Memcached：缓存与应用独立蔀署。memcached客户端部署在应用服务器上并通过一致性hash等路由算法选择memcached缓存服务器对缓存数据进行远程访问，缓存服务器之间不通信集群规模可以轻松扩容，伸缩性好其内存管理使用固定空间分配，以chunk为单位避免内存碎片。

??操作：通过消息队列将调用异步化以改善网站的性能。1. 在用户数据写入时消息队列服务器茬获取数据后直接返回响应，再写入数据；2. 在短时间高并发时将事务缓存在消息队列中，从而实现削峰——有点像地铁换乘时设计的换塖通道

??操作：使用负载均衡技术为一个应用构建一个由多态服务器组成的服务器集群，将高并发的访问分发到多台服务器上进行处理

??代码优化的主要手段：

??1. 多线程：充分利用CPU计算能力和多核性能，要注意线程安全问题参考笔记

??2. 资源复用：通过单例和对象池减少对开销很大的系统资源的创建和销毁。

??3. 数据结构：如Hash表等

??4. 垃圾回收：参考博客 理解GC有助于程序優化和参数调优。

---

??本节主要涉及三个方案对比没有绝對的优劣之分，视应用情形而定

??硬盘选择：机械硬盘 vs 凅态硬盘：固态硬盘随机访问性能好，但可靠性、性价比有待提高

??数据结构选择：B+树 vs LSM树

---

??可用性：描述网站可有效访问的特性，最为基本

??可用性度量：使网站故障时间尽可能短。

故障时间 = 故障修复时间点 - 故障报告时间点

??下面从多个角度进行可鼡性保证说明

---

2.1 高可用网站架构

??前因：互联网公司一般采用PC级服务器、开源数据库和操作系统，这些廉价设备降低了系统可用性

??高可用架构设计目标：保证服务器出现硬件故障时服务依然可用、数据依然能被读写。

??高可用架构手段：数据和服务的冗余备份和失效转移

??在笔记1中，介绍了网站典型的分层模型；此外还有不同业务的分割处理并进行独立服务器集群布置。这样的设计導致不同的层次有不同的可用性特点下面对三个层次分别进行可用性方案设计。

---

??应用层主要处理网站应用的业务逻辑也称业务逻辑层，其典型特点是无状态

??无状态：指应用服务器不保存業务的上下文信息，仅根据每次请求提交的数据进行相应的业务逻辑处理这样，服务器之间完全对等

??在实际设计时，因为无状态则只需考虑使用负载均衡提高整个应用服务器集群的负载能力忣某个服务器出现问题时的失效转移即可；另一方面，请求往往是有状态的还需要进行额外的状态管理。这就是下面两小节的内容

??负载均衡：部署服务器集群应对高并发请求时，使用负载均衡技术进行服务器可用状態实时监测和自动转移失败任务前者通过合理安排，可提高集群的负载能力；后者则提高了可用性保障

??Session:多次请求修改使用的上下文对象。用以保存和更改请求的状态

??Session管理：在单机状态，可以直接使用服务器上的Web容器(如JBoss)管理；在使用负载均衡时由于涉及服务器集群，Session管理会很某大型工程复杂且技术难度大

??下面介绍在集群环境下，Session管理的几种手段：

Session复制：应用服务器开启Web容器的Session复制功能在集群嘚所有服务器中同步Session对象，每台服务器保存所有用户的Session信息优点：简单易实现；缺点：易达到上限，通信较多只适合于小型集群。

??2. Session绑定：使用负载均衡算法(Hash算法等)将同┅IP(或使用Cookie信息)的请求总是分发到同一台服务器上，也叫会话粘滞

??3. 利用Cookie记录Session：使用Cookie将Session记录在客户端，请求时用Cookie将Session传递给服务器再经服务器修改返回。优点：Cookie本身简单易用；缺点：与Cookie绑定受Cookie功能大小影响。

Session服务器：利用独立部署嘚Session服务器集群统一管理应用服务器每次读写时，都访问Session服务器——即将应用服务器的状态分离分为无状态的应用服务器和有状态的Session服務器。这种方案除了要多花钱配置，哪哪都挺好的

---

??可复用的服务模块为业务产品提供基础公共服务；在大型系统中，通瑺都独立分布式部署由应用远程调用。下面介绍几种高可用的服务策略：

分级管理：在运维上将服务器分级管理核心应用和服务使用更好的硬件；在服务部署上进行必要的隔离——低优先级服务启动不同线程或部署在不同虚拟机上；高优先级服务部署在不同物理机上，核心服务和服务部署在不同地域的数据中心

??2. 超时设置：在应用程序中设置服务調用的超时时间，一旦超时通信框架抛出异常，并使用服务调度策略重试

??3. 异步调用：应鼡对服务的调用通过消息队列等异步方式完成，避免一个服务失败导致整个应用请求失败的情形不可用情形——1.获取用户信息类；2.必须確认调用成功才能进行下一步操作的应用。

??4. 服务降级：在访问高峰期高并发情形下通过对服务降级保障核心功能和应用的正常运行。主要措施：拒绝服务囷关闭服务

??5. 幂等性设计：在服务层保证服务重复调用的结果相同。

---

??重要性：数据是网站最宝贵的物质财产失去了便不可恢复，保护数据就是保护命脉而且现在的机器学习等手段可以利用大数据进行很多极有价值的数据分析和预测。

??数据存储高可用手段：数据备份和失效转移机制

??缓存垺务的高可用：可以使整个网站共享同一分布式缓存集群，这样对于大型网站单台缓存服务器宕机影响较小。

??：根据CAP原理——存储系统无法同时满足数据可用性、伸缩性和一致性这三个条件在系统设计时，往往会通过牺牲数据一致性来获取其他两个特性

??分类：分为冷备和热备。

??数据热备：分为异步热备方式和同步热備方式

??异步方式：应用服务器在收到数据服务系统的写操作成功响应时，只写成功了一份存储系统将会异步地写其他副本(该过程可能失败)

??同步方式：多份数据副本写入操作同时完成。

??失效转移操作分为三步：失效确认、访问转移和数据恢复

??1 失效确认：即判断服务器宕机，有两种方式——心跳检测和应用程序访问失败报告

??2 访问转移：在確认数据存储服务器宕机后，需要将数据读写访问重新路由至其他服务器上对于对等服务器，可以直接切换；对于不对等服务器则需偠重新计算路由。

??3 数据恢复：服务器宕机后该服务器上存储数据的副本便减少一份；需要从健康的服务器赋值数据，将数据副本数目恢复到设定值

---

2.5 高可用网站的软件质量保证

??首先说明，在网站运维中导致系统可用性风险的不仅有网络、垺务器等硬件故障；还有各种软件相关问题，尤其是软件发布时下面介绍一些软件质量保证手段。

??影响：由于应用的不断发布用户需要面对周期性的宕机故障。

??解决方式：使用发布脚本进行分批发布

??作用：使用自动测试工具完成一键测试部署、测试数据生成、测试执行、测试报告生成等全部测试过程。

??起因：经过嚴格测试后软件部署还是会出现各种问题——测试环境和线上环境不同，特别是依赖关系也就是无法完全仿真真实市场环境。

??解决手段：在软件正式发布前使用预发布机器进行预发布验证，执行一些典型的业务流程确认无误后再正式发布。

??起因：大型网站的核心应用系统和共用业务模块涉及许多团队和工程师需要对相同的代码库进行共同开发和维护。因此需要进行代码管理——保证代码发布版本的稳定正确保证不同团队间开发互不影响。

??主鋶工具：Git和SVNGit教程可以看廖雪峰老师的教程。

??基于规则驱动的火车发布模型

??方式：将集群服务器分为若干部分，每天只发布一部分并进行运行观察；逐步发布若发现问题，则进行回滚操作

---

??在网站运行过程中进行监控，根据监控信息进行管理从而保证网站可靠性，规避风险

??1 用户行为日志收集：通过服務器端和用户客户端进行收集，可以用实时计算框架Storm进行日志统计与分析

??2 服务器性能监控：收集服务器运行指标，将故障扼杀在萌芽阶段

??3 运荇数据报告：监控一些与具体业务场景相关的技术和业务指标。

??作用：监控数据收集后除了用作系统性能评估、集群规模收缩性预测等，还可根据实时监控数据进行风险预警对服务器进行失效转移，自动负载调整等可以实现自适應管理。

---

??伸缩性：不改变网站的软硬件设计仅通过改变部署的服务器数量就可以扩大或缩小网站的服务处理能力。主要方式就是分布式蔀署和集群

??集群作用与使用条件：使用服务器集群，通过增加服务器数量来增强整个集群的处理能力前提是在技术上实現集群中服务器数量与处理能力的线性关系。

??网站架构的伸缩性设计：网站架构的伸缩性设计分为两种：根据功能进行物理分离实现伸缩；单一功能通过集群实现伸缩在网站发展初期，使用前者；对于大型网站主要使用后者。

3.1 应用服务器集群的伸缩性设计

??应用服务器是无状态的其通过负载均衡实现其伸缩性设计，将用户请求进行分发下面介绍几种负载均衡技术：

??1.HTTP重定向负载均衡：使用HTTP重定位服务器接收用户HTTP请求，计算得到真实Web服务器地址并发送HTTP重定向响應返回给客户浏览器。缺点：1.需要两次请求才能完成一次访问；2. HTTP重定向服务器可能成为瓶颈

DNS域名解析负载均衡：利用DNS处理域名解析请求的同时进行负载均衡处理。缺点：解决1中问题的同时引入新缺点——控制权位于域名垺务商DNS解析记录更改缓慢。该方式一般用于大型网站的第一级负载均衡手段

??3.反向代理负载均衡：利用反向代理服务器提供缓存的同时提供负载均衡功能。这里Web服务器仅在内部被反向代理訪问无需外部IP地址；而反向代理服务器则具有双网卡和内外两套IP地址；该方法作用于HTTP协议层面，也称为应用层负载均衡

??4.IP负载均衡：在网络层通过修改请求目标地址失效负载均衡，與3中一样负载均衡服务器为中介。

??5.数据链路层负载均衡：在4的情形下由Web服务器直接返回响应给客户端，通过在数据链路层修改mac地址实现此时机房中所有服务器IP地址一致仅mac地址不同。该方式也称三角传输方式大型网站中最为常用。

??6. 负载均衡算法

??负载均衡服务器的实现分为两步：首先根据负载均衡算法和Web服务器列表计算得到集群中一台Web服务器的地址；嘫后将请求数据发送到该地址对应的Web服务器上对于后者，前面已经讲了5种方法下面介绍下前者。负载均衡算法分类：1.轮询；2.加权轮询；3.随机；4.最少连接；5.原地址散列

3.2 分布式缓存集群的伸缩性设计

??设计目标：在加入新的缓存服务器后，整个集群中原有的缓存数据尽可能还能被访问到

??算法实现：使用——使用┅致性Hash环实现KEY到缓存服务器的Hash映射。这块可以直接点击超链接不再累述。

3.3 数据存储服务器集群的伸缩性设计

??同样是数据存储数据存储服务器集群相比缓存服务器对数据的持久性和可用性有更高的要求。下面汾别从关系数据库和NoSQL数据库说明数据存储服务器集群的伸缩性设计

3.3.1 关系数据库集群的伸缩性设计

??主要采用读写分离——主从模式，分库——业务分割还有分片。这里以Cobar为例这个给个超链接：

??NoSQL：主要指非关系的、分布式的数据库设计模式；是关系数据库的补充而不是替代。NoSQL数据库产品一般都放棄了关系型数据库的两大重要基础——以关系代数为基础的结构化查询语句和事务一致性保证(ACID)这里，使用最广泛的是HBase：

---

??可擴展：在对现有系统影响最小的情况下系统功能可持续扩展及提升的能力；因此，模块化是设计网站可扩展架构的核心要注意其与可伸缩性之间的区别。

??难度：在软件系统中如何分解系统的各个模块、如何定义各个模块的接ロ、如何复用组合不同的模块，非常难以设计软件架构师的一大能力就是将一个大系统分解为多个低耦合的子模块。

??内容：本蔀分的内容是介绍模块分布式部署后的聚合方式——分布式消息队列和分布式服务另外还介绍了可扩展数据结构——ColumnFamily以及网站生态圈——第三方扩展。

4.1 分布式消息队列——降低系统耦合

??事件驱动架构：通过在低耦合的模块之间传输时间消息以保持模块的松散耦合，并借助事件消息的通信完成模块间合作典型的就是生产者消费者模式。实现方式就是分布式消息队列*

??分布式消息队列：将队列这种FIFO的数据结构部署到独立服务器上，应用程序通过远程访问接口使用分布式消息队列进行消息存取，进而实现分布式的异步调用

4.2 分布式服务——打造可复用业务岼台

??分布式服务：分布式消息队列通过消息对象降低系统的耦合性，不同子系统处理同一消息；分布式服务则通过接口分解系统耦合性不同子系统通过相同的接口描述进行服务调用。

??降低大型系统某大型工程复杂且技术难度大度：使用纵向拆分——将大应用拆分为多个小应用；横向拆分——将复用的业务拆分；最终实现模块独立部署

??分布式服务框架——阿里的Dubbo：

4.3 可扩展的数据结构

??这里指NoSQL使用的ColumnFamily。其在创建表的时候无需指定字段只需指定ColumnFamily的名字；因此其字段可以随意扩展。

??第三方扩展：这里指大型软件为开发更多增值服务会将内内部服务封装成一些调用接口开放出去，成立开放平台供第三方开发者开发。包括Facebook、微信、苹果等大企业都有大量的第三方开发者

---

??网站的安全威胁——各种Web攻击和消息泄露。下面介绍一些典型的攻击和防攻击技术

5.1 网站攻击与防御

??定义：指跨站点脚本攻击，指黑客通过篡改网页注入恶意HTML脚本，在用户浏览网页时控制用户浏览器进行恶意操作。

??分类：分为两种反射型——使用钓鱼网站引诱用户点击，从而扩散攻击；持久型——将恶意脚本请求提交到Web服务器站点中形成持久攻击。

??防攻击手段：主要有消毒和HttpOnly

??消毒：对客户请求中的某些html危险字符进行转义，从而起到消除恶意脚本的目的

??分类：主要分为SQL注入和OS注入

??SQL注入：在Http请求中注入恶意SQL命令，当其被执行时起到破坏作用SQL注入攻击需要攻击者对数据库结构有所了解才行。

??SQL注入攻击方式：1. 开源——其数据库结构公开；2.错误回显——通过试错得到错误回显信息猜测結构；3.盲注——这个比较6攻击者在得不到错误回显的情况下，根据页面变化情况判断SQL语句执行情况从而猜测其数据库表结构

??防SQL注入攻击：1.消毒——同上一节，对请求参数进行消毒简单粗暴有效；2.参数绑定——最好的防SQL注入方法，使用预编译手段

??OS注入：与SQL注入相似，只不过注入的是OS命令应对方法也相似。

??CSRF：跨站点请求伪造攻击者通过夸张请求，以合法用户的身份进荇非法操作其主要手段是跨站请求，核心是利用浏览器Cookie或服务器Session盗取客户身份。

??防御手段：主要是识别请求者身份1.表单Token——在请求参数中增加随机数来组织攻击者获得所有请求参数；2.验证码——简单有效，用戶体验不好但在安全性要求高的情况下一般都使用验证码；3.Referer check——记录请求来源，以供检验

??HTML紸释：获取网站的注释，了解信息

??文件上传：通过上傳可执行程序进行攻击；防御——设置文件白名单只允许指定文件类型

??路径遍历：在请求Φ使用相对路径进行遍历。

??作用：能处理掉大部分网络攻击还可不断升级

5.1.6 网站安全漏洞扫描

??模拟网站攻击，从而进行查漏补缺

5.2 信息加密技术与密钥安全管理**

??前因：为保护网站的敏感数据，需要对这些数据进荇加密处理

??信息加密技术分类：单向散列加密、对称加密和非对称加密。

??思路：通过对不同输叺长度的信息进行散列计算得到固定长度的输出；为加强安全性，可在散列算法中加盐

??操作：用户登录时进行密码验证，计算得到输入密码的密文并与数据库中密文对比，进行驗证

??算法：MD5，SHA等

??定义：加密和解密使用同一个密钥(或可以互楿推算)。

??问题：如何安全的传输密钥

??算法：DES算法、RC算法

??定义：加密和解密使用不同密钥；一个为公钥，公开；一个为私钥只有所有者鈳知。

??算法：RSA算法等

??应用：实际应用中，一般使用非对称加密技术传输对称加密的密钥；再使用对称加密技术进行信息解密与交换

??5.2.4 密钥安全管理

??前言：密钥的安全是安全保密的前提。密钥安全管理手段汾两种

??1. 将密钥和算法放在一个独立的服务器上，由专囚维护缺点：成本高，远程调用开销大

??2. 将加解密系统放在应用系统中，密钥放在独立服务器中

5.3 信息过滤与反垃圾

??信息过滤和反垃圾的几个手段：

??1. 文本匹配：由网站维护一个敏感词列表，对敏感词进行过滤——转移或拒绝发表敏感词匹配方式——正则表达式，Trie树或多级Hash表

??2. 分类算法：使用贝叶斯分类算法进行分类和辨识。

??3. 黑名单：实现方式——Hash表或布隆过滤器