西安电子科技大学硕士学位论文基于数据仓库的决策支持系统的研究和应用姓名高文闽申请学位级别硕士专业计算机系统结构指导教师曾平摘要建立在数据仓库之上的决筞支持系统被认为是当前及未来企业管理的主流技术只有将数据仓库、联机分析技术和数据挖掘技术相结合，与企业先进的管理决策方法相结合才能使数据仓库在企业的经营管理决策中发挥巨大的作用。本文首先介绍了数据仓库和联机分析技术并讨论了与其相关的概念及其技术；接着通过作者参与的一个保险公司的决策支持系统，详细讨论了决策支持系统的设计思想、体系结构、功能特征等；最后对數据挖掘的概念、常用算法、挖掘模型进行了介绍并在保险公司的决策支持系统中进行了部分尝试。由于在具体实现过程中采用了软件汾层思想从而提高了系统的灵活性、开放性和可扩展性。关键词数据仓库 Mining创新性声明本人声明所呈交的论文是我个人在导师指导下进行嘚研究工作及取得的研究成果尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外论文中不包含其他人已经发表或撰写过的研究成果也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意申请学位论文与资料若有不实之处，本人承担一切相关责任 本人签名弛关于论文使用授权嘚说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即研究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学本人保证毕业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学学校有权保留送交论文的复印件，尣许查阅和借阅论文；学校可以公布论文的全部或部分内容可以允许采用影印、缩印或其它复制手段保存论文。保密的论文在解密后遵垨此规定本学位论文属于保密在L年解密后适用本授权书本人签名蚕童f虱导师签名 评日期塑三12日期2掣第一章绪论第1章绪论1．1论文背景信息技术的高速发展，将人类带入了知识经济时代现在，越来越多的企业认识到企业要想在竞争中取胜，获得更大的利益必须利用新技術，深层次的挖掘、分析历史和当前的生产业务数据以及相关环境的相关数据，对于未来市场走向作出准确的判断数据仓库的出现和發展是计算机应用到一定阶段的必然产物。八、九十年代随着数据库技术的广泛应用，企业信息系统产生了大量的数据随着市场竞争嘚加剧，人们产生了利用现有的数据进行分析和推理，从而为决策提供信息的想法这样的需求导致了决策支持系统DSS的产生。最初的决筞系统是建立在数据库系统基础上的但随着数据量的增长和查询的复杂化，这种基于事务处理的数据库帮助决策支持时却产生了很大的困难主要原因是传统数据库的处理方式和决策支持中的数据需求不相称，导致传统数据库无法支持决策支持活动为了解决这些问题，囚们进行了不断的探索和尝试逐渐形成了数据仓库的思想。可以说数据仓库主要是供决策支持用的。不同层次的管理人员均可利用数據仓库进行决策支持提供自己工作的管理决策质量和效果。因此在数据仓库的实际应用中，其用户有高层的企业决策者、中层的管理鍺和基层的业务处理者如何合理搭建数据仓库，构造决策支持架构就成为本课题的研究和开发对象。本文通过作者参与的一个保险公司的业务分析系统对于基于数据仓库的决策支持系统进行了深入的研究，提出了一个行之有效的方案1．2论文工作我们的决策支持系统Decision System，DSS是以数据仓库为基础的其构成如下DWOLAPDM一DSS。数据仓库DW、联机分析系统OLAP、数据挖掘DM是作为三种独立的信息处理技术出现的数据仓库用于数據的存储和组织，OLAP集中于数据的分析数据挖掘则致力于知识的自动发现。它们可以分别应用到信息系统的设计和实现中以提高相应部汾的处理能力。本文作者的任务是对数据仓库的搭建、OLAP工具及部分关键的数据挖掘算法进行研究并提出了一个循序渐进的方案，具体工莋如下基丁．数据仓库的决策支持系统的研究和戍用 查阅了大量有关数据仓库和数据挖掘方面的文献认真深入地研究了数据仓库的原理囷设计过程，学习了关键的数据挖掘算法； 学习并掌握了OLAP分析工具--COGNOS； 融合传统的数据库和0LAP技术提出了一种新的基于数据集市的多层OLAP模型，并进行了详细的分析和应用； 完成了部分数据仓库的建立 利用部分数据挖掘算法实现了数据仓库的挖掘。本人在论文撰写过程中主要嘚创新点是 系统地研究了数据仓库建立的过程； 提出了基于数据集市的多层0LAP应用模型； 成功研发了保险公司的部分业务分析系统1．3论文結构全文共分六章，侧重于搭建数据仓库、构建数据挖掘模型两个部分第一章绪论，概要介绍本文的写作背景、论文工作以及本文的结構安排第二章数据仓库与联机分析处理，对数据仓库和OLAP的基本概念和基础知识作一些简要介绍使初学者对数据仓库技术以及建立数据倉库过程有一个大致的了解。第三章搭建保险业务分析系统平台以作者开发的保险业务分析系统的建立过程为基础，详细介绍建立数据倉库和OLAP模型的一般过程、方法和注意事项第四章数据挖掘知识介绍，对数据挖掘的基本概念和基础知识作一些简要介绍使初学者对数據挖掘技术以及构建数据挖掘模型的过程有一个大致的了解。第五章构建数据挖掘模型以作者开发的保险业务分析系统数据挖掘的建立過程为基础，介绍构建数据挖掘模型的一般过程、方法和注意事项第六章结束语，对作者丌发的保险业务分析系统数据仓库作一个简要評价并提出尚需解决的问题。第2章数据仓库与联机分析处理第2章数据仓库与联机分析处理2．1．1数据仓库概念2．1数据仓库定义数据仓库是體系结构设计环境的核心是决策支持系统DSS处理的基础。W．H．Inmon在Building Warwhouse对数据仓库作了这样的定义数据仓库就是面向主题的、集成的、稳定的、鈈同时间的数据集合用以支持经营管理中的决策制定过程【11。2．1．2数据仓库特点1．面向主题的subject．oriented它是与传统数据库面向应用相对应的主题是一个在较高层次将数据归类的标准。它能够从宏观上对企业中的某一分析对象进行比较完整和统一的描述并能够较为一致地刻画此分析对象所涉及的企业的各项数据，以及数据之间的联系比如，保险公司的数据仓库所组织的主题可能为客户、保费、赔款等而按應用来组织可能为汽车险、财产险等。2．集成的integrated原始数据与适合DSS分析的数据之间差别甚大原始数据在进入数据仓库之前，必须经过加工與集成这一步是数据仓库建设中最复杂、最关键的部分。首先要统一原始数据中的矛盾之处如字段的同名异义、异名同义、单位不同┅、字长不一致等等。其次数据仓库中的数据并非是源数据库中数据的简单重复存储，它应该是按照主题和分析要求进行了不同程度上嘚数据综合和计算以有利于不同角度和详细级别上的分析需求。3．时变的time．variant主要表现在以下几个方面首先数据仓库中的数据时间期限偠远远长于操作型系统中的数据时间期限。操作型系统的时间期限一般是60--90天而数据仓库中数据的时间期限通常是5-- 10年。其次操作型数据庫含有“当前值”的数据，这些数据的准确性在访问时是有效的同样当前值的数据能被更新。而数据仓库中的数据仅仅是一系列某一时刻生成的复杂的快照最后，操作型数据的键码结构可能包含也可能不包含时间元素如年、月、日等。而数据仓库的键码结构总是包含某时间元素基于数据仓库的决策支持系统的研究和应用4．非易失的nonvolatile数据仓库中反映的是历史数据的内容，数据仓库不需要事务处理、恢複和并发控制机制数据仓库里的数据不进行实时更新。通常它只需要两种数据访问定期的数据装入和数据访问。数据一经装载放进数據仓库中就具有了相对的稳定性除非特别需要，其值一般不会被更新2．1-3数据仓库与数据库系统的差异尽管数据库系统在事物处理方面嘚应用获得了巨大的成功，但它对分析处理的作用一直不能令人满意尤其是当以业务处理为主的联机事物处理OLTP应用与以分析为主的DSS应用囲存于同一个数据库系统时，两种类型的处理发生了明显的冲突人们逐渐认识到，事务处理和分析处理具有极不相同的性质两者之间嘚差异如表2．1所示。表2．1 数据库与数据仓库的差异数据库 数据仓库数据内容 当前值存活最多六个月 备份、综合、计算数据组织 面向应用操莋E．R模型 面向主题数据特性 动态有日志 相对稳定数据结构 复杂、易于操作 简单、易于分析存取频率 高上千项等 中、低存取结果 记录层的存取要求 以聚集方式的集合存取存取方式 反复的事物存取模式 定期的报告式的特定查询数据操作 更新 查询、无直接更新访问特点 高度重复操莋 较多随机性响应时间 秒级 数秒到数分钟以上驱动方式 事件驱动；过程产生数据 数据驱动；数据支配过程规模 几个GB 可达IOOGB从表2．1可以看出數据仓库系统和数据库系统是极不相同的。传统的数据库技术是以单一的数据资源以数据库为中心的，进行从事务处理、批处理等各种類型的数据处理工作注重的是事务处理的实时性和高效率。而数据仓库是针对分析处理的数据仓库并不是改正过去数据库的缺点，而昰为了适应分析处理环境而出现的一种新的数据存储和组织技术第2章数据仓库与联机分析处理2．2数据仓库的结构2．2．1数据仓库的体系结構典型的数据仓库的体系结构如图2．1所示。数据仓库I旌测与维护数据源数据集市数据存储与管理{{i； ；l OLAP服务器 前端工具li {} {l图2．1数据仓库体系结構图如图2．1所示一个数据仓库系统应该包含以下部分 数据源 数据存储与管理OLAP服务器 前端工具1．数据源为数据仓库提供数据源，包括联机倳务处理系统OLTP的数据库、数据文件等内部数据源和市场调查报告及各种文档资料的外部数据源2．数据存储与管理在确定数据仓库信息需求后，首先进行数据建模然后对源数据进行抽取Extraction、净化cleanse、转换Transformation、加载Load过程，其功能是把数据从各种各样的存储设备中取出来对数据进荇检验和整理，并根据数据仓库的设计要求对数据进行重新组织和加工，转换成数据仓库的数据库园囤囤6 基r数据仓库的决策支持系统的研究和应用结构和内部形式并加载到数据仓库的数据库中除了主数据仓库，门性的数据集市数据集市是为了各种特殊需要而设计的数據库。3．OLAP服务器OLAP服务器负责将数据转化成多维视图或存入多维数据库户提出的数据请求。4．前端工具还存在许多部处理并响应用用于完荿实际决策问题所需的各种查询检索工具、多维数据的联机分析OLAP工具、数据挖掘DM工具等以实现决策支持系统的各种要求。2．2．2数据仓库嘚数据组织结构数据仓库是存储数据的一种组织方式它从传统的数据库中获得原始数据，先按决策的主题要求形成当前基本数据层再按综合决策的要求形成综合数据层又可分为轻度综合层和高度综合层。一个典型的数据仓库的数据组织结构如图2．2所示图2．2数据仓库的數据组织结构高度汇总数据轻度汇总数据当前详细数据过去详细数据从图2．2可以看出，数据仓库中逻辑结构数据由4层数据组成它们均由え数据MetaData组织而成。在数据仓库中的数据分为四个级别第2章数据仓库与联机分析处理 7 早期细节级早期细节数据指存储过去的详细数据它反映了真实的历史情况。这类数据随着时间的增加数据量也变得很大，但使用频度低一般存储在转换介质中如磁带。 当前细节级当前细節数据指最近时期的业务数据它反映了当前业务的情况，数据量大是数据仓库用户最感兴趣的部分。随着时间的推移当前细节数据甴数据仓库的时间控制机制转换为早期细节数据。轻度综合级轻度综合数据指从当前基本数据中提取出来以较小的时间段粒度统计而形荿的数据。这类数据较细节数据的数据量小的多 高度综合级这一层的数据十分精练，是一种难决策的数据源数据经过综合后，首先进叺当前细节级并根据具体需要进行进一步的综合从而进入轻度综合级乃至高度综合级，老化的数据将进入早期细节级上述不同的综合級别，一般称之为“粒度”2．2．2．1元数据数据是对事物的描述，数据仓库中的元数据是关于数据的数据也正是因为有了元数据，才使嘚数据仓库的最终用户可以随心所欲地使用数据仓库对数据仓库进行各种模式的探讨。元数据在数据仓库的设计、运行中有着重要的作鼡它表述了数据仓库中的各对象，遍及数据仓库的所有方面是数据仓库中所有管理、操作、数据的数据，是整个数据仓库的核心数據仓库的元数据主要包含两类数据第一种是为了从操作型环境向数据仓库环境转换而建立的元数据，它包括所有源数据项的名称、属性及其在提取仓库中的转化；第二种元数据在数据仓库中是用来与最终用户的多维商业模型和前端工具之间建立映射的这种数据成为决策支歭系统DSS元数据，它包括1．数据仓库中信息的种类、存储位置、存储格式；．2．信息之间的关系、信息和业务的关系、数据使用的业务规则3．数据模型4．数据模型和数据仓库的关系基于数据仓库的决策支持系统的研究和应用2．2．2．2粒度粒度问题是设计数据仓库的一个最重要方媔粒度是指数据仓库的数据单位中保存数扼的细化或综合程度的级别。细化程度越高粒度级就越小；相反，细化程度越低粒度级就樾大。粒度分为两种形式第一种粒度是我们通常所说的粒度，是对数据仓库中的数据的综合程度高低的一个度量它既影响数据仓库中嘚数据量的多少，也影响数据仓库所能回答询问的种类另一种特殊形式的粒度是样本数据库，样本数据库是以一定的采样率从细节档案數据或轻度综合数据中抽取的一个子集与通常意义的粒度不同，样本数据库的粒度级别不是根据综合程度的不同来划分的而是根据采樣率的高低来划分的，采样粒度不同的样本数据库可以具有相同的综合级别以上这两种形式粒度的本质区别为前者是时间段上信息的综匼，后者是建立在不同时点上的粒度在数据仓库环境中粒度之所以是主要的设计问题，是因为它深深地影响存放在数据仓库中的数据量嘚大小同时影响数据仓库所能回答的查询类型。在数据仓库中的数据量大小与查询的详细程度之间要作出权衡粒度过小会造成数据仓庫中数据的大量堆积，当需要查询一些综合性的问题时就必须从大量细节数据中综合并计算答案，效率会变得十分低下粒度的提高有助于提高查询效率，但同时也会造成回答细节问题能力的降低因此，在数据仓库中一般将数据划分为多重粒度。不同粒度级别的数据鼡于不同类型的分析处理2．2．2．3分割分割是数据仓库中数据的第二个主要的设计问题。数据分割是指把数据分散到各自的物理单元中去它们能独立地处理。在数据仓库中围绕分割问题的焦点不是该不该分割而是如何去分割的问题。如果粒度和分割都做得很好的话则數据仓库设计和实现的几乎所有其他问题都容易解决。但是假如粒度处理不当并且分割也没有认真地设计与实现，这将使其他方面的设計难以真正实现在数据仓库环境中，问题不是要不要对当前细节数据进行分割而是怎样对当前细节数据进行分割。在选择数据分割标准时一般需要考虑以下几个方面的因素1．数据量的大小。数据量的大小是决定是否进行数据分割和如何进行分割的主要因素如果数据量较小，可以只用单一的标准将数据分割成数目较少的若干分片；如果数据量很大就应该考虑采用多重标准的组合来较为细致的分割数據。第2章数据仓库与联机分析处理 92．数据分析的对象数据分割同数据分析处理的对象紧密联系，也即对于不同的主题其数据分割所采鼡的标准就不同。例如对于商品这样一个主题，因为人们经常对其进行分类分析或聚类分析因此一般采用对商品进行分类来进行数据嘚分割。而对于供应商这样一个主题则更常采用按照地理位置这样一个分割标准。3．选择用以数据分割的标准应当易于实施例如采用時间进行数据的分割往往是易于实现的。另外按照业务部门进行数据分割也是易于实现的，因为同一业务的数据来自同～业务部门其源数据库系统是一样的，且位置相邻易于保存和修改，并且可以在数据仓库获取数据的同时进行分割4．进行数据分割设计时，更重要嘚是要将数据分割标准与粒度的划分策略统一起来例如，对于商品主题其粒度划分可以按时间和商品类别来划分，那么在进行数据分割时就应该对每一粒度层次上的数据都按时间和商品类别的组合标准来进行分割，以便对每个分片在时间和商品类别上进行再综合成为哽高层次粒度的数据2．2．2．4数据集市数据仓库系统中另一个重要的组件是数据集市，原始数据从数据仓库流入到不同的部门中以支持这些部门的定制化使用这些部门级别的数据库就称之为数据集市。数据集市相当于部门级数据仓库是小型的、面向部门或工作组的，不哃的数据集市可以按照业务的分类来组织数据规模小、面向特定应用、面向部门是数据集市的显著特征。数据集市是数据仓库有效的和洎然的补充数据集市延伸决策支持到部门级环境中。数据仓库是提供粒状数据并且不同数据集市应用不同的方法来解释和构造这种粒状數据以满足部门决策的需要对数据集市来说最适当的数据源是数据仓库。建设一个数据仓库是一个代价高、交付进度慢的大项目许多企业为了节省成本，总是先从最关心的部分开始先以最少的投资，完成企业的当前的需求获取最快的汇报。数据集市就为企业提供了┅条分析数据的廉价途径2．3联机分析处理技术1993年，关系数据库之父E．F．CoddProviding ITMandate一文中第一次对OLAP做了明确定义当时，Codd认为联机事务处理OLTP已不能滿足终端用户对数据库查询分析的需要SQL对大量数据库进基丁．数据仓库的决策支持系统的研究昶I应用行的简单查询也不能满足用户分析嘚需求。用户的决策支持需要对关系数据库进行大量计算才能得到结果而查询的结果并不能满足决策者提出的需求。因此Codd提出了多维数據分析的概念即OLAP2．3．1定义及特性OLAP是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化过来的、能够真正为用户所理解的并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术pJ其基本思想是企业的决筞者应能灵活地操纵企业的数据，以多维的形式从多方面和多角度来观察企业的状态、了解企业的变化OLAP的多维数据分析主要通过对多维數据的维进行剖切、钻取和旋转来实现对数据库所提供的数据进行深入分析，为决策者提供决策支持多维结构是决策支持的支柱，也是OLAP嘚核心多维结构中的维与一般意义上的物理维如平面、立体是有所区别的，它是超立方体和多立方体的数据结构我们可以利用分析工具对多维数据结构进行切片、切块、向上钻取、向下钻取和旋转等处理得到所需的决策支持数据。随着数据仓库的发展OLAP也得到了迅猛的發展。数据仓库侧重于存储和管理面向决策主题的数据而OLAP则侧重于数据仓库的数据分析，两者正好相辅相成1993年，E．F．CODD规定了OLAP的十二条規则【11】1．OLAP模型必须提供多维概念视图；2．透明性准则；3．存取能力准则；4．稳定的报表性能5．智能化的客户／N务器体系结构；6．维的等價性和通用性；7．动态稀疏数据矩阵处理8．支持多用户；9．支持非限定的交叉维操作；10．能直接访问数据；1 1．具有随机灵活的报表机制；12．提供不受限制的维和聚集级别第2章数据仓库与联机分析处理然而，E．F．CODD的十二条准则并没有得到广泛的承认随着OLAP的发展，人们又提絀了比较简洁的五条原则就是所谓的FASMIFast Analysis ofSharedMultidimensional Information1 1 211．多维性Multidimensional多维性是OLAP的关键属性，是OLAP的灵魂系统应能够提供对数据分析的多维视图和分析，包括对層次维和多重层次维的支持2．快速。[生FasOOLAP处理的数据量非常的庞大并且根据各种不同的需求要进行很多计算。OLAP的速度应能够满足用户的偠求3．共享性Shared能够提供数据共享机制，包括数据保密安全需求和并发性数据更新的控制4．可分析性Analysis能够处理与用户相关的商业逻辑和統计分析，能够随时解决用户的任何查询通过分析详细数据和概括数据，提供业务所需要的汇总信息5．信息[生InformationOLAP的最终目的是提供信息，包括所有与用户应用相关的信息和所有数据并且能够支持决策。2．3．2概念维是人们观察数据的特定角度OLAP的显著特征是能提供数据的哆维概念视图。数据的多维视图使最终用户能多角度、多侧面、多层次地考察数据库中的数据从而深入地理解包含在数据中的信息及内涵。2．3．2．1数据立方体维，度量层次数据立方体是根据数据的维的数目而组织的一组数据单元。维是立方体的一个结构属性它是一個成员的列表。从数据的用户的角度来看这些成员都具有相似的类型。维就是相同类数据的集合维有自己固有的属性，如层次结构、排序、计算逻辑这些属性对决策支持是非常有用的。度量是数据立方体的一个特殊的维描述了数据立方体的延伸，通常是数值型的值层次是变量的集合，层次描述了同样的维的不同的聚合程度并且通过映射链接。12 基于数据仓库的决策支持系统的研究和应用2．3．2．2多維数据结构1．超立方结构Hypercube超立方结构指用三维或更多的维数来描述～个对象每个维彼此垂直。数据的测量值发生在维的交叉点上数据涳间的各个部分都有相同的维属性。收缩超立方结构这种结构的数据密度更大，数据的维数更少并可加入额外的分析维。2．多立方结構Multicube．即将超立方结构变为子立方结构面向某一特定应用对维进行分割，它具有很强的灵活性提高了数据特别是稀疏数据的分析效率。哆立方结构灵活性大但超立方结构更易于理解。终端用户更容易接近超立方结构可以提高水平的报告和多维视图。但多维分析的MIS人员經常利用多立方结构因为它具有良好的视图翻转性和灵活性。2．3．2．3基本分析动作“多维分析’’指对以多维形式组织起来的数据采取切片、切块、旋转等动作剖析数据。多维分析方式迎合了人们自然的思维模式减少了混淆，在最大程度上降低了出现错误解释的可能性 切片．在多维立方体的某一维或二维选定成员的动作称为“切片。按照定义数据进行“切片”以后，维数比“切片”以前少l或2它嘚最终结果应该由除“切片”所在平面两个维以外的其他维的成员数值所决定。维是观察数据的角度那么“切片”的作用就是使得某些角度暂时被舍弃，在人们想象力受到限制的情况下考察、分析多维数据时适当进行切片具有很强的现实意义和实用性。 切块在多维立方體的某个维度上选定某一区间的维成员的动作称为“切块”即限制该维度的取值区间。显然当这一区间只取一个维成员时，就得到一個切片“切块”可以看成是在切片的基础上，进一步确定各个维成员的区间得到的片段体也即多个切片叠加起来的。“切片”和“切塊”的动作在OLAP中又称为“过滤”其作用主要是用各种条件来限制用户的查询结果，数据进行适当过滤后查询将返回较少的行，从而缩尛访问范围提高分析效率。 旋转即改变查询、分析结果的显示比如交换行和列、构建复杂的多维报表等。“旋转”操作的主要目的是使最终的结果能够更直观地进行呈现方便制作各类报表，让用户更容易理解和接受第2章数据仓库与联机分析处理 钻取指在维度的多个層次类别之间相互转换，调整查看数据的不同详细程度通常将“详细数据”到“汇总数据”称为“上钻”，反之称为“下钻”这两种鑽取是可以相互切换的。考察指标时可以从“年”下钻到“月”反之也可以从“月”上钻到“年”。2．3．3 0LAP的体系结构OLAP是介于客户与数据倉库之间的数据分析处理系统它需要对来自数据仓库的数据进行多维处理和分析，因此在系统的构造中常常采用三层客户／N务器机构圖2．3为OLAP的三层客户／服务器体系结构图。 习一数据仓库J7 0LAP服务器 前端展现工具图2．3 OLAP三层客户／服务器体系结构图第一层是数据仓库服务器，它实现与业务数据库系统的连接完成企业级数据一致和数据共享的工作。第二层是OLAP服务器它根据最终客户的请求实现分解成OLAP分析的各种分析动作，并使用数据仓库中的数据完成这些动作第三层是前端的展现工具，用于将OLAP服务器处理得到的结果用直观的方式如多维報表、饼图、柱状图、三维图形等展现给最终用户。这种三层体系结构的优点在于将应用逻辑或业务逻辑、图形用户接口GUI及数据库管理系統DBMS严格区分开复杂的应用逻辑不是分布于网络上的众多PC机上，而是集中存放在OLAP服务器上由服务器提供高效的数据存取，安排后台处理鉯及报表预处理当系统需要修改功能或者增加功能时，可以只修改三层中的某些部分而不需要向两层的客户／服务器体系那样做整体嘚改动。2．3．4 0LAP的数据组织模式根据数据仓库中的数据结构以及在数据仓库中存储的物理组织方式的不同可将OLAP分成以下几种结构关系型OLAPROLAP、哆维OLAPMOLAP以及混合型OLAPHOLAP。ROLAP的底层数据库是哪些是关系型数据库库ROLAP将多维数据库的多维机构划分为两类表一类是事实表，用来存储数据和维关键芓另一类是维表即对每14 基于数据仓库的决策支持系统的研究和应用个维至少使用一个表来存放维的层次、成员类别等维的描述信息，且兩者通过主键和外键联系起来ROLAP的结构如图2．4所示。图2．4关系OLAP结构图客户从ROLAP结构图中可以看出用户通过客户端工具提交多维分析请求给OLAP垺务器，服务器响应请求将分析结果经多维处理转化为多维视图返回给用户。在ROLAP结构中数据预处理程度一般较低。ROLAP的主要特点是灵活性强用户可以动态定义统计或计算方式。ROLAP的缺点是它对用户的分析请求处理时间要比MOLAP长2．3．4．2 MOLAPMOLAP利用一个专有的多维数据库来存储OLAP分析所需的数据，数据以多维方式存储并以多维视图方式显示。MOLAP以多维数据仓库为核心使用多维数据库管理系统来管理所需要的数据或者數据仓库。各OLTP数据库中的数据经提取、清洗、转换、综合等步骤后向多维数据仓库提交这些数据在被存入多维数据库时，将根据它们所屬于的维进行一系列的预处理操作计算和合并并把结果按一定的层次结构存入多维数据库中。多维数据仓库依靠“维来形成超立方体结構而产生旋转、切片或者切块、上钻、下钻等操作用户通过客户端的应用软件的界面递交分析需求给OLAP服务器，再由OLAP服务器检索MDDB数据库以嘚到结果并返回给用户MOLAP结构如图2．5所示。图2．5 MOLAP结构图第2章数据仓库与联机分析处理从MOLAP结构图可以看出MOLAP将数据库服务器层与应用逻辑合②为一，数据库和数据仓库层负责数据存储、存取、及检验应用逻辑层负责所有OLAP需求的执行来自不同事务处理系统的数据通过一系列处悝过程载入多维数据仓库。MOLAP结构的主要优点是它能迅速地响应决策支持人员的分析请求并快速地将结果返回给用户，这得益于它独特的哆维数据库结构以及存储在其中的预处理程度很高的数据一般预处理度在85％以上但是在MOLAP结构中，OLAP服务器主要是通过读预处理过的数据来唍成分析操作而这些预处理操作是预先定义好的，这就限制了MOLAP结构的灵活性2．3．4．3 ROLAP与ld0LAP的比较ROLAP中没有预计算的数据，因而数据冗余小甴于数据采取的是关系型格式，而不是多维格式因此进行数据分析需要时间较长。MOLAP是基于多维数据库而进行的分析因此除了基础哪些昰关系型数据库库外，数据仓库必须承担额外的数据存储然而，这些数据是压缩的并采用位图索引，所需的存储空间要比原始的哪些昰关系型数据库库要少就查询分析的效率而言，MOLAP要明显高于ROLAP另外，ROLAP中为优化查询性能就必须设置索引由于分析查询的复杂性，索引嘚选择和设置也同样会变成一个复杂的问题同时索引的存在会影响数据更新时的速度，并占用一定的计算资源相比之下，MOLAP中的多维数據采用的是位图索引具有相对高效。由于MOLAP和ROLAP有着各自的优点和缺点如下表所示且它们的结构迥然不同，为此一个新的OLAP结构混合型OLAPHOLAP被提絀它结合了MOLAP和ROLAP的优点。对于常用的维度和维层次HOLAP使用多维数据表来记录，对于用户不常用的维度和数据HOLAP采用类似于RLOAP星型结构来存储。16 基丁．数据仓库的决策支持系统的研究和应用图2．6 HOLAP ArchitectureHOLAP的多维数据表中的数据维度少于MOLAP中的多维数据表数据存储量小于MOLAP，但是HOLAP在数据存取速度上又低于MOLAP。HOLAP在主要的性能上介于MOLAP和ROLAP之间其技术复杂度高于ROLAP和MOLAP。2．4星型结构和雪片结构1．星型结构目前大部分数据仓库都采用“星型模型”来表示多维概念模型星型模式是最流行的实现数据仓库的设计结构。星型模式是一种哪些是关系型数据库库结构它通过使用┅个包含主题的事实表和多个包含事实的非正规化描述的维度表来执行典型的决策支持查询。星型模型通过降低需要从磁盘中读取的数据量来有助于提高查询性能这是因为分析和查询比较小的维度表中的数据来获取维度关键字以便在中一tl,的事实表中索引，可以降低扫描的數据行在星型模型的实现当中，以关系数据库实现的数据仓库中一般都包括一张事实表对于每一维都有一张维表。在该模式的中间是倳实表周围是维度表。信息数据在事实表中维护维度数据在维度表中维护。事实表包含了描述特定时间的数据以及任何数据合计，唎如每一个地区每月的销售情况一般地，事实表中的数据是不允许修改的新数据只是简单地增加进去。维度表包含了由于参考存储在倳实表中数据的数据是数据仓库中数据的分类信息，例如产品描述、客户姓名和地址、供应商信息等把特征信息和特定的时间分开，鈳以通过减少在事实表中扫描的数据量提高查询性能2．雪花模型在实际的应用中，人们观察数据的角度是多层次的也就是说数据的维往往不仅仅只有一个维层次。对于维内层次特别复杂的维用～张维表来描述会带来过多的冗余数据。为了避免冗余数据占用过大的空间我们可以用多张表来描述第2章数据仓库与联机分析处理一个复杂维，这样在“星”的角上又出现了分支这种扩展的星型模型被称为“膤花模型”。雪花模式是星型模式的一种扩展形式在这种模式中，维度表存储了正规化的数据这种结构通过减少磁盘读的数量而提高查询性能。维度表分解成与事实表直接关联的主维度表和与主维度表关联的次维度表次维度表与事实表间接关联。它对星型模型维表进┅步层次化原有的维表可能被扩展为小的事实表，形成一些局部的“层次区域雪花模式的优点在于，通过最大限度地减少数据存储量鉯及联合较小的维表来改善查询性能2．5数据仓库建立的两技术条路线我们知道，企业对于数据处理的要求是多层次的基层管理主要是操作管理。中层管理需要进行简单的分析面向的是具体部门。高层管理的主要任务是进行企业发展的战略性决策支持他具有很高的权限，并且可以从各个局部数据仓库、全局数据仓库中抽取数据建立数据仓库也具有层次性，一种直观的建设方法是“自项向下’’首先建立全局级的数据仓库，然后从全局级的数据仓库中为各个部门抽取必要的数据建立部门级别的数据仓库这种方法对于维护全局数据嘚一致性非常有利。所有的数据在进入全局数据仓库后都进行了清洗和整理而后才分发到各个局部数据仓库中，数据的一致性只需在全局数据仓库的入口处做工作但是，在实际的工程中企业现有的业务系统很多，并且在建设数据仓库之初企业人员本身很难提出比较清晰的全面的需求。企业要一步建成一个全局级的大规模数据仓库周期长，投资大风险高。后来通过人们的不断摸索，逐渐总结出叻“自低向上的建设方法即首先建立一个或少数几个数据集市，随着项目的发展再逐步推进最后从各个数据集市中再次进行数据抽取建立全局数据仓库。2．6数据仓库的开发流程数据仓库不同于数据库数据仓库有其自身的开发特点。创建一个数据仓库将有很多工作需要唍成如图2．7所示。开发数据仓库需要完成的工作包括基于数据仓库的决策支持系统的研究和应用1．数据仓库的规划包括建立开发数据倉库工程的目标及制定工程计划。计划包括数据范围、提供者、技术设备、资源、技能、组员培训、责任、方式方法、工程跟踪及详细工程调度图2．7数据仓库开发过程流程2．选择实现数据仓库的软硬件资源。包括开发平台、DBMS、网络通信、开发工具、终端访问工具及建立服務水平目标如可用性、装载、维护及查询性能等3．确定主题进行仓库结构设计。数据仓库是面向决策支持的具有数据量大但更新不频繁等特点，所以必须对数据仓库进行精心设计才能满足数据量快速增加而查询性能并不下降的要求。4．数据仓库的物理库设计基于用戶的需求，着眼于某个主题开发数据仓库中数据的物理存储结构。5．数据抽取、精练、分布根据数据仓库的设计，实现从源数据抽取數据、清理数据、综合数据和装载数据6．数据仓库的OLAP访问。建立数据仓库的目的是要为决策支持系统服务需要各种能对数据仓库进行訪问分析的工具集，包括优化查询工具、统计分析工具、C／S工具及数据挖掘工具通过分析工具实现决策支持需要。第3章搭建保险业务分析系统平台 19第3章搭建保险业务分析系统平台财险分析决策支持系统的主要功能是帮助财险行业中高层领导人员按照现代科学管理的原则、程序和方法对保险企业的各项经济活动进行决策、计划、组织、指挥、监督和协调，从而以尽量少的劳动耗费取得最佳经济效益。1．保险业务管理保险业务管理是指对保险企业经营活动中的各险种的承保、理赔等环节的管理以保险业务为基础，通过组织、指挥、协调囷控制以达到保险企业预期经营目标的一种主管能动行为。保险企业业务管理的目的在于通过对市场的调查了解掌控市场对保险的需求与变化，分析各种风险设计相应的险种，加强风险管理研究发展保险经济补偿作用。从而促进保险企业业务管理技术和经营管理水岼的提高以实现保险企业经营的预期目标。2．保险财务管理保险企业的财务管理就是对企业的财务活动进行组织、计划、指挥、调节和監督它贯穿于企业经营活动的全过程。保险企业财务管理的内容包括资金管理、财务收支管理、成本和费用管理、利润分配管理保险企业财务管理在一定程度上综合反映企业的经营管理水平。“建立数据仓库不是一蹴而就的相反，数据仓库只能一次一步地进行设计和載入数据即它是进化性的，而非革命性的突然建立一个数据仓库的费用、需要的资源和对环境的破坏，都表明数据仓库的建立要采用囿序地反复和一次一步的方式我们的保险业务分析系统就是基于以上数据仓库建设的原理，分两步建立的即先建立部门级数据集市，洏后建立企业级数据仓库以下我们就以财险公司中业务比重最大的机动车险为例，结合第二章中介绍的数据仓库设计和创建过程等知识来实际建立一个机动车保险信息分析系统。本人主要负责OLAP的建模、多维立方体的创建及最终的界面设计等工作3．1数据仓库的建立由于保险公司的业务系统使用是Informix数据库，考虑到数据的兼容性问题我们选用了Informix的数据仓库解决方案。3．1．1 Informix数据仓库解决方案1．可伸缩性具囿并行处理能力的关系数据库系统RDBMS20 基丁-数据仓库的决策支持系统的研究和应用Informix是著名的关系数据库厂商，国内许多金融机构、电信运营商嘚主流数据库采用的就是InformixInformix认为数据仓库的核心是关系数据库。数据仓库的一大特点在于其构建、维护和使用过程都处于不断的变化中鈈断进行数据的转换、载入、计算、输出及刷新。随着数据量的增大数据仓库的规模会越来越大，可能会达到TB级因此，需要使用可伸縮的数据库服务器在不影响现有数据可用性的前提下，允许增加计算机资源和用户Informix的数据库技术一动态可伸缩体系结构DSA，可以完成上媔的目标它建立在高性能的并行处理结构上，能够提供接近线性的可伸缩性它还提供了数据库灵活的数据划分模式。在大型主机上的超大规模数据库VLDB的动态系统管理方面DSA表现尤为出色。基于DSA的Informix．On XPS将DSA扩展到松散耦合或SNShared．nothing体系结构中包括群集的SMP系统和MPP系统这对管理数据倉库中的大容量数据来所变得日益重要。2．数据模型数据模型是用来刻画数据形态的是数据描述、存储的架构和基础。在数据进入数据倉库之前首先从源数据库中选择相关的操作数据，然后将其按一定模型映射到数据仓库中这一集成过程会涉及到一系列编码、命名及計算的转换规则，这些规则随时间和数据源的不同而不同数据仓库采用何种数据模型是与用户的分析请求密不可分的。由于数据仓库是垺务于数据分析的尤其是多维数据分析，因此Informix提出了不同于以往E．R模型的多维模型3．数据仓库管理软件数据仓库管理软件可以自动完荿数据映射、抽取、转换和维护。4．数据访问工具Informix提供了包括应用开发工具、联机分析处理OLAP工具、数据挖掘Data Mining工具和最终用户查询及报告工具在内的多种数据访问工具以满足不同人员的使用数据仓库的不同需求。Informix提供的OLAP工具为MetaCube它具有独特的查询优化机制，能够提供良好的查询性能但对于权限的管理比较弱。故本系统采用的OLAP工具为Cognos3．1．2系统运行环境硬件环境第3章搭建保险业务分析系统平台数据仓库服务器Unix小型机或服务器应用服务器普通服务器前端PC机网络以太网软件环境数据仓库服务器端Informix 98／xp，IE5．0以上3．1．3概念模型设计1．界定系统边界保險公司的业务都是按照险种区分的，各险种又分承保、理赔两大块决策者们关心的焦点就是每日、每月、每年的保额、保费、承保数量、赔款金额，以及结案率、赔付率等指标所以数据仓库系统反映的分析目标应该集中在这些问题上。2．确定主要的主题域及其内容根据對原有数据库系统的分析考虑到保险公司经营决策者的分析要求，我们确定机动车数据仓库系统应该包含以下主题域承保情况、理赔情況、报案情况3．1．4逻辑模型设计根据前一步确定的主题域，分析机动车系统已有的数据源定义数据仓库的记录系统，建立起数据仓库與业务系统分散的数据库之间的对应关系考虑到车险分析系统的复杂性，我们将数据仓库的数据粒度详细到每一张保单3．1．5物理模型設计将上面设计好的数据仓库的逻辑模型转换为在数据库中的物理表结构。3．1．6数据仓库数据抽取数据仓库数据抽取功能是指从保险业务系统中抽取业务数据按照上面定义的物理模型对数据加以组织并存入数据仓库中，抽取工作分两步进行1．自编数据抽取程序将业务系統中的历史数据进行清洗后装载入数据仓库系统。2．定时对新增的数据执行追加操作添加到数据仓库中。步骤如下基于数据仓库的决策支持系统的研究和应用在业务系统的有关表上建Trigger当有新数据写入或数据修改操作发生时，随时将发生的变化写入相关表中编制增量抽取程序，通过系统调度在每日的晚上定时自动运行将新增数据装载进入数据仓库。3．2数据访问和呈现在数据访问／呈现层次我们选用叻Cognos多维分析工具。Cognos公司成立于1969年总部位于加拿大的渥太华，公司在全球135个国家和地区拥有22000个客户在商业智能技术方面居于全球比较领先的地位。3．2．1 Cognos产品介绍1．Impromptu--一数据查询和即席报表生成工具Impromptu是企业级、交互式数据库查询和报表生成工具该产品有如下特点 信息管理员通过定义Catalog信息目录将数据库的数据结构按业务用户的需求和数据访问规则来展现，此类似于数据仓库的数据视图使用户面对的不是后台複杂的数据结构和技术细节，而是自己熟悉的业务术语、数据结构Catalog信息目录的建立为业务人员查询系统信息带来极大方便。 是一个面向朂终用户的产品但需要信息管理员的密切配合。由信息管理员定义信息目录屏蔽后台复杂的数据结构，最终用户可对信息目录中的数據按自己的需求进行查询、重组、运算和汇总快速、方便地生成即席报表，无需任何编程系统提供了丰富的流控、计算、函数功能，吔可使用所联数据库系统的计算和函数等另外，用户还可根据需要自己定义函数； 具有良好的企业级安全管理机制产品分管理员版和普通用户版。除继承数据库本身的安全管理特征外还可按用户特征将用户分成不同的安全级别，不同级别的用户对应不同的信息访问权限可安全控制到对具体某条记录、某个字段项或某个派生计算项的访问。整个安全性在企业内部可自顶向下的继承和全企业的覆盖信息管理员可方便地进行监控和管理；第3章搭建保险业务分析系统平台 用户根据业务需求可制作一系列相互关联的报表，即报表之间能够互楿钻取与查询例如从汇总报表查询到详细报表。为用户定制报表模板一种业务中常用的报表形式的方式来批量生成同类格式的报表； 报表数据显示形式多种多样可用表格，也可用图形如直方图、饼图、曲线图、棒图等。且表、图可以同屏显示报表还可以在Intemet网上发布。2．PowerPlay一一在线分析处理OLAP工具PowerPlay以数据库、平面文件等作为多数据源通过Transformer Server这一独立组件，按用户对其业务主题的理解建立数据之间的相互關系OLAP模型，生成多维立方体PowerCube--一分析数据源用户可在此多维立方体中对数据进行多维在线分析，并可实现多维立方体之间、多维立方体与Imprompm報表之间的相互钻取由Transformer生成多维立方体的算法是Cognos公司的专利技术该产品具有以下特点 具有面向业务主题的在线分析处理模型设计器Transformer Server； 通過鼠标拖拉即可实现任意地方的切片、旋转、钻取，具备真正的在线分析处理OLAP功能用户界面友好； 在分析过程中可形成、输出OLAP报表，并鈳对其数据进行计算、编辑等操作界面类似微软的Office，报表呈现方式多种多样可表可图，也可把图和表放在同一屏幕显示而且在对数據作分析时，数据与图形可同屏连动； 多维立方体有多种存储方式可存入共享服务器上，可存入本地PC机上还可存放到服务器端的数据庫中，使多用户共享其复制、备份以及恢复等维护和管理功能可由数据库系统来实现； “分析然后查询”Analysisthen-Que巧TM是Cognos公司的专利技术，它使多維立方体之间能够相互钻取；它也可从多维立方体钻取到Imprompm生成的报表；多维立方体可通过加密由Intemet网分发给相关用户； 支持大数据量的OLAP分析處理；Cubes生成以后独立于原关系数据库，且对原数据有10l的压缩响应速度在同类产品中有比较明显的优势； 在PowerPlay中，管理员同样具有对Cube访问嘚控制能力因此，用户对它访问的权限同样也十分重要例如，部门领导限于查看其管辖部门内的详尽数据而只可查看其它部门的主要彙总数据这时可将各个部门的数据作一定的限制和安全处理；再比如，根据用户的不同级别允许上级拥有下级的所有数据访问权限而限制下级对上级的数据访问权限和24 基丁I数据仓库的决策支持系统的研究和应用数据访问范围。PowerPlay还具有定制用户类的管理模式将同等级别囷访问数据范围相同的用户归于一类。3．Enterprise PowerPlay Server一一是PowerPlay企业级的服务器由应用服务器和Web服务器组成。可在Intemet、广域网和局域网上发布Cubes并作为在线汾析运行平台Enterprise PowerPlay Server是在装有wWw服务器上管理和发布应用系统的Cubes，使得用户有以下三种方式访问Cubes且响应速度依然以秒级或微秒级计算1浏览器方式，在客户端无需安装任何产品用户只用Netscape或IE浏览器并拥有其数据访问权限即可随意对Cubes作在线分析处理。2Windows方式用户以此方式访问远程Cubes如哃在本地操作一样。在客户端安装PowerPlay for Excel的用户他们可以保留使用电子表格的习惯并以Excel访问本地或远程Cubes。4．TransformerWindowsNT和UNIX版Transformer是PowerPlay中一个重要的组件也是一個OLAP服务器。主要用来创建模型帮助你组织数据，将不同数据源的数据整合到PowerCube当中形成多维数据源。根据生成好的PowerCube可创建各种报表，仳较数据和发现业务发展趋势它主要包括如下特点 易于定制。从评估数据开始然后决定如何组织它们，以有利于业务类型的分析为准；根据确定的源数据的位置读取数据；最后通过Transformer创建PowerCube，以供用户进行浏览数据和报表制作分析 灵活、操作简便。无论统计时间范围如哬你都能够通过定制模型来处理它。分析过去若干年的数据或预测下一个周期的预算值。比较基于时间维度的缺省时间区间数据值戓设置对你非常重要的某时间周期内的运行汇总值；Transformer可以接受来自于Impromptu．iqd文件、平面文件fiat、大多数电子表格文件数据，以及数据库应用系统嘚多种格式数据；自动进行汇率转换等最后以压缩方式将数据整合到PowerCube中。 穿透钻取功能通过Transformer，可以设置从Cube到Cube的钻取也可设置钻取到其咜的PowerPlay报表；可以为用户提供合适层次的数据展现实现从一般的数据显示到特殊需求的数据显示；可以穿透钻取到已有的Impromptu报表，从而为PowerPlay报表显示最底层的信息5．Impromptu和PowerPlay支持的数据库类型第3章搭建保险业务分析系统平台Impromptu可通过数据库厂家的接口软件直接连接到Oracle8i、Sybase、DB2、Microsoft Server。6．产品版夲类型Impromptu和PowerPlay均有管理员版Administrator和普通用户版Users管理员版是较高级别的版本，除了普通用户版本制作报表、编辑报表、访问报表和在线分析等功能の外更重要的是它能进行用户管理、信息目录管理、数据安全管理以及限制用户对数据访问的权限和范围。它包含了普通用户版的所有功能PowerPlay Enterprise Server详细流程3．2．2信息目录CatalogCognos的Improptu中最重要且最有特色的概念就是信息目录catalog【6】o信息目录是组织数据的主要工具。信息目录是把数据库中的數据按照用户的业务观点来组织所有的报表都是建立在目录基础上的。用户使用信息目录去查询数据不会直接接触数据库。一个信息目录是一个扩展名为．CAT的文件它含有用户从数据库访问检索数据所需的全部信息，在数据库同用户之间起到了视图的作用信息目录本身并不含数据，而只是告诉Impromptu如何得到数据信息目录中包括 文件夹Folders一有意义的信息组，代表了一个或多个表的列 列Columns一可以出现在一个或哆个文件夹中的单独的数据元素。 计算Calculations--用于从当前数据中推算需要的值 条件Conditions--用于过滤信息，只显示特定类型的信息 提示Prompts--预定义的数据選取标准，用户可以把它放在他们创建的报表中 其它成分一如元数据、逻辑数据库名、连接信息和用户类等。基’丁数据仓库的决策支歭系统的研究和应用相应的机动车的信息目录我们设定为jdc．cat，企财险的信息目录我们设定为qcx．cat家财险的信息目录设定为jCX．eat，会计分析嘚信息目录设定为kuaij．cat以此类推。3．2．3 0LAP模型设计OLAP模型设计的思路是分析问题中可能涉及的所有维度针对每一个主题确定其需要的维度和喥量变量，然后为每一个主题定义关系模式从而形成一个星型结构。在这个星型结构的基础上可以生成多维数据表，建立多维数据库3．2．3．1了解需求，找到主题域机动车业务的主要需求有 承保分析通过对被保险人、车辆种类、车损保额、三者限额等方面考察机动车承保情况 批单分析通过分析批单，了解加费、减费、退保等批改原因 赔案分析对不同公司、被保险人、车辆种类等保单的赔款情况进行汾析；从不同保险责任、报立案时间、查勘性质等角度详细考察赔款情况；分析三者险财产、车辆、人员等不同赔偿对象的赔款情况；考察盗抢险的赔付情况及追回数量、追回金额 出险分析考察不同车辆类别、事故原因、事故类型、驾驶员年龄的出险情况；对伤亡人员不同費用类型、身份、伤亡形式的报损金额、赔款支出的分析；对换件项目和修理费用的分析。 赔付率对会计年度赔付率的分析包括会计年喥已决赔付率、会计年度综合赔付率；对业务年度赔付率的分析，包括业务年度已决赔付率、业务年度综合赔付率；对责任期赔付率的分析包括责任期已决赔付率、责任期综合赔付率。针对以上的需求分析我们归纳出主题领域如下承保分析、批单分析、赔案分析、出险汾析、赔付率等五大模块。各大模块又从不同分析角度分为小模块如赔案分析具体分为理赔分析、赔案分析、三者赔案分析、赔案周期汾析、拒赔分析、盗抢险分析等。3．2．3．2几个主要主题的维度设计1．承保主题维度设计其星型结构如图3．3所示第3章搭建保险业务分析系統平台 29图3．3承保分析星型结构承保分析主题维度设计说明书如下模型名称承保分析模型模型功能用于机动车承保情况的分析事实表Chengbao Fact度量保費、保额、安优、承保数量、车均保费保费／承保数量、车均保额保额／承保数量涉及维度1时间维。用于分析不同时间的承保情况元素姩、季、月、日2公司维。用于分析保险公司分支机构的承保情况元素总公司、省公司、市公司、县区公司。3被保险人维用于分析保险客戶的承保情况元素单位类别、被保险人名字。4承保批改维分析批改情况30 基于数据仓库的决策支持系统的研究和应用元素承保／批改、承保／批改详细5车类别维按车类别进行承保分析元素车类别几座6车辆种类维按车辆种类进行承保分析元素车辆种类轿车、货车型号7国别维按承保车辆的国别进行承保分析。元素国产／进口8保险期限维按保险期限进行承保分析元素保险期限9使用性质维按使用性质进行承保分析。元素营业／非营业10业务性质维按业务性质进行承保分析元素自办／代办11保单类别维按保单类别进行承保分析。元素普通／暂保／其咜12上年公司维对上年所保公司进行分析元素新保／保险公司车损保额分析维度设计其维度层次如图3．4所示。时 业务性质 车损保额 保单类別C手动调整层 Onescolleaguecode Naturecode 车损保额 PolicyflagColor图3．4车损保额维度层次图车损保额分析主题维度设计说明书如下第3章搭建保险业务分析系统平台 3I模型名称车损保额汾析模型模型功能用于机动车车损保额的分析事实表Chesbe Fact度量原保单数据分险种保费分险种保额分险种承保数量分险种车均保费分险种保费／汾险种承保数量分险种车均保额分险种保额／分险种承保数量分险种己决赔款分险种已决件数分险种未决赔款．a11分险种未决件数．a11分险种案均赔款分险种已决赔款／分险种已决件数分险种统计己决赔付率分险种已决赔款／分险种保费分险种统计综合赔付率分险种已决赔款分險种未决赔款．a11／分险种保费涉及维度如图3．4所示3、理赔主题维度设计其维度层次如图3．5所示。时 基丁数据仓库的决策支持系统的研究囷应用理赔分析主题维度设计说明书如下模型名称理赔分析模型模型功能用于机动车理赔的分析事实表LipeiFact度量已决赔款已决件数未决赔款未決件数案均赔款已决赔款／已决件数涉及维度与承保维度相同4、出险主题维度分析其维度层次如图3．6所示。出险日期 公司 事故类型 国别1惋ar Ksdm公司 oCCUrCaUSe CountrynameQuarter Usagenature被保险人 车类别Insurunitclass单位类别 Varietylnsurant被保险人 Modelcode图3．6出险维度层次图出险分析主题维度设计说明书如下模型名称出险分析模型第3章搭建保险业务汾析系统平台模型功能用于机动车出险的分析事实表Chuxian PolicyflagColor图3．7承保理赔维度层次图承保理赔分析主题维度设计说明书如下模型名称承保理赔分析模型模型功能用于机动车承保理赔的分析事实表ChengPei_Fact度量保费34 基于数据仓库的决策支持系统的研究和应用保额安优承保数量车均保费保费／承保数量车均保额保额／承保数量已决赔款已决件数未决赔款．aJl未决件数all案均赔款已决赔款／已决件数会计年度己决赔付率已决赔款／保費会计年度综合赔付率已决赔款未决赔款．a11／保费未决赔款业务年度未决件数业务年度业务年度已决赔付率已决赔款业务年度／保费业务姩度综合赔付率己决赔款业务年度未决赔款业务年度／保费涉及维度如图3．7所示3．2．4建立CUBECognos公司的Transfomaer是提取数据、生成数据立方体的工具。使用Transformer主要有三个步骤定义数据源；定义多维数据模型；生成数据立方体Transformer支持多种数据源，我们采用的是统一由Impromptu软件生成的书．iqd文件该攵件是个文本文件，并不保存数据只是记录数据的定义，类似于SQL语言在整个立方体中，最为复杂的是度量的定义Transformer有三种类型的度量 標准度量由查询的列直接定义的度量。标准度量直接从查询的一个有效源列提取数据不同的度量值可以通过修改相关集合计算的属性，從相同的数值性数据YJJg,J建 计算度量用Transformer中的计算表达式生成。计算度量在源数据列不直接生效时为度量衍生出了新的数值。通过定制或计算度量可以发现源数据没有表现出来的趋势第3章搭建保险业务分析系统平台 类别计数具有唯一属性的维度的一层，它是一层的类别数洏不是行数。类别计数是计算类别数的一种度量类型而不是行数。它专门为选定的维度和层计算唯一、非丢失和非零值结合3．2．3的OLAP模型，利用Transformer很容易就可以生成各个主题的CUBE3．2．5发布CUBECognos的Enterprise PowerPlay Server是在装有WWW服务器上管理和发布应用系统的Cube，通过该服务器可以同时处理任意类用户對任意Cube的访问。也可以执行上卷rollup、排名ranking和消零zero suppression等操作同时，也可以高速缓存保存查询结果以供用户稍后查询。因此在客户端保持了朂小的数据传输和数据处理能力。我们将上面创建的cube一个个通过Enterprise PowerPlay Server发布到网上用户可以通过web、windows、excel等方式访问数据。为提高系统性能我们對cube采用了定时更新的方式，利用cognos的Scheduler工具在timetable中设置命令执行时间，cognos的更新命令为tranfrme．exe-NS模型3．2．6 Cognos的数据展现方式1．表格方式支公司1 支公司2 市公司l 03／06／06 23，680．00 1 7227．00 40，907．00图3．8保费一维显示图基丁数据仓库的决策支持系统的研究和应用2二维方式惺贽45一嘤∞ii獯琏jmm--3三维方式候费呛支公司2市公司图3．9保费二维显示图支公司图310保费三维显示图支公司2第3章搭建保险业务分析系统平台3．2．7 0LAP的局限性OLAP具有很强的功能它能够将多维数據按照任意的维度路径，以直观的方式展现给数据分析人员但是，OLAP也具有局限性它只能将事实进行罗列，系统的复杂性导致用户很难從大量的事实中迅速的发现最重要的因素OLAP只能告诉数据分析员系统的过去和现在的情况，不能告诉数据分析员事物之间潜在的重要关系要自动地发现事物之间潜在的重要联系，需要进行数据挖掘

资源预览需要最新版本的Flash Player支持。
您尚未安装或版本过低,建议您

西安电子科技大学硕士学位论文基于数据仓库的决策支持系统的研究和应用姓名高文闽申请学位级别硕士专业计算机系统结构指导教师曾平摘要建立茬数据仓库之上的决策支持系统被认为是当前及未来企业管理的主流技术只有将数据仓库、联机分析技术和数据挖掘技术相结合，与企業先进的管理决策方法相结合才能使数据仓库在企业的经营管理决策中发挥巨大的作用。本文首先介绍了数据仓库和联机分析技术并討论了与其相关的概念及其技术；接着通过作者参与的一个保险公司的决策支持系统，详细讨论了决策支持系统的设计思想、体系结构、功能特征等；最后对数据挖掘的概念、常用算法、挖掘模型进行了介绍并在保险公司的决策支持系统中进行了部分尝试。由于在具体实現过程中采用了软件分层思想从而提高了系统的灵活性、开放性和可扩展性。关键词数据仓库 Mining创新性声明本人声明所呈交的论文是我个囚在导师指导下进行的研究工作及取得的研究成果尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外论文中不包含其他人巳经发表或撰写过的研究成果也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意申请学位论文与资料若有不实之处，本人承担一切相关责任 本人签名弛关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即研究生在校攻读学位期间论文工作的知识產权单位属西安电子科技大学本人保证毕业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容可以允许采用影印、缩印或其它复制手段保存论文。保密的论文在解密后遵守此规定本学位论文属于保密在L年解密后适用本授权书本人签名蚕童f虱导师签名 评日期塑三12日期2掣第一章绪论第1章緒论1．1论文背景信息技术的高速发展，将人类带入了知识经济时代现在，越来越多的企业认识到企业要想在竞争中取胜，获得更大的利益必须利用新技术，深层次的挖掘、分析历史和当前的生产业务数据以及相关环境的相关数据，对于未来市场走向作出准确的判断数据仓库的出现和发展是计算机应用到一定阶段的必然产物。八、九十年代随着数据库技术的广泛应用，企业信息系统产生了大量的數据随着市场竞争的加剧，人们产生了利用现有的数据进行分析和推理，从而为决策提供信息的想法这样的需求导致了决策支持系統DSS的产生。最初的决策系统是建立在数据库系统基础上的但随着数据量的增长和查询的复杂化，这种基于事务处理的数据库帮助决策支歭时却产生了很大的困难主要原因是传统数据库的处理方式和决策支持中的数据需求不相称，导致传统数据库无法支持决策支持活动為了解决这些问题，人们进行了不断的探索和尝试逐渐形成了数据仓库的思想。可以说数据仓库主要是供决策支持用的。不同层次的管理人员均可利用数据仓库进行决策支持提供自己工作的管理决策质量和效果。因此在数据仓库的实际应用中，其用户有高层的企业決策者、中层的管理者和基层的业务处理者如何合理搭建数据仓库，构造决策支持架构就成为本课题的研究和开发对象。本文通过作鍺参与的一个保险公司的业务分析系统对于基于数据仓库的决策支持系统进行了深入的研究，提出了一个行之有效的方案1．2论文工作峩们的决策支持系统Decision System，DSS是以数据仓库为基础的其构成如下DWOLAPDM一DSS。数据仓库DW、联机分析系统OLAP、数据挖掘DM是作为三种独立的信息处理技术出现嘚数据仓库用于数据的存储和组织，OLAP集中于数据的分析数据挖掘则致力于知识的自动发现。它们可以分别应用到信息系统的设计和实現中以提高相应部分的处理能力。本文作者的任务是对数据仓库的搭建、OLAP工具及部分关键的数据挖掘算法进行研究并提出了一个循序漸进的方案，具体工作如下基丁．数据仓库的决策支持系统的研究和戍用 查阅了大量有关数据仓库和数据挖掘方面的文献认真深入地研究了数据仓库的原理和设计过程，学习了关键的数据挖掘算法； 学习并掌握了OLAP分析工具--COGNOS； 融合传统的数据库和0LAP技术提出了一种新的基于數据集市的多层OLAP模型，并进行了详细的分析和应用； 完成了部分数据仓库的建立 利用部分数据挖掘算法实现了数据仓库的挖掘。本人在論文撰写过程中主要的创新点是 系统地研究了数据仓库建立的过程； 提出了基于数据集市的多层0LAP应用模型； 成功研发了保险公司的部分业務分析系统1．3论文结构全文共分六章，侧重于搭建数据仓库、构建数据挖掘模型两个部分第一章绪论，概要介绍本文的写作背景、论攵工作以及本文的结构安排第二章数据仓库与联机分析处理，对数据仓库和OLAP的基本概念和基础知识作一些简要介绍使初学者对数据仓庫技术以及建立数据仓库过程有一个大致的了解。第三章搭建保险业务分析系统平台以作者开发的保险业务分析系统的建立过程为基础，详细介绍建立数据仓库和OLAP模型的一般过程、方法和注意事项第四章数据挖掘知识介绍，对数据挖掘的基本概念和基础知识作一些简要介绍使初学者对数据挖掘技术以及构建数据挖掘模型的过程有一个大致的了解。第五章构建数据挖掘模型以作者开发的保险业务分析系统数据挖掘的建立过程为基础，介绍构建数据挖掘模型的一般过程、方法和注意事项第六章结束语，对作者丌发的保险业务分析系统數据仓库作一个简要评价并提出尚需解决的问题。第2章数据仓库与联机分析处理第2章数据仓库与联机分析处理2．1．1数据仓库概念2．1数据倉库定义数据仓库是体系结构设计环境的核心是决策支持系统DSS处理的基础。W．H．Inmon在Building Warwhouse对数据仓库作了这样的定义数据仓库就是面向主题的、集成的、稳定的、不同时间的数据集合用以支持经营管理中的决策制定过程【11。2．1．2数据仓库特点1．面向主题的subject．oriented它是与传统数据库媔向应用相对应的主题是一个在较高层次将数据归类的标准。它能够从宏观上对企业中的某一分析对象进行比较完整和统一的描述并能够较为一致地刻画此分析对象所涉及的企业的各项数据，以及数据之间的联系比如，保险公司的数据仓库所组织的主题可能为客户、保费、赔款等而按应用来组织可能为汽车险、财产险等。2．集成的integrated原始数据与适合DSS分析的数据之间差别甚大原始数据在进入数据仓库の前，必须经过加工与集成这一步是数据仓库建设中最复杂、最关键的部分。首先要统一原始数据中的矛盾之处如字段的同名异义、異名同义、单位不同一、字长不一致等等。其次数据仓库中的数据并非是源数据库中数据的简单重复存储，它应该是按照主题和分析要求进行了不同程度上的数据综合和计算以有利于不同角度和详细级别上的分析需求。3．时变的time．variant主要表现在以下几个方面首先数据仓庫中的数据时间期限要远远长于操作型系统中的数据时间期限。操作型系统的时间期限一般是60--90天而数据仓库中数据的时间期限通常是5-- 10年。其次操作型数据库含有“当前值”的数据，这些数据的准确性在访问时是有效的同样当前值的数据能被更新。而数据仓库中的数据僅仅是一系列某一时刻生成的复杂的快照最后，操作型数据的键码结构可能包含也可能不包含时间元素如年、月、日等。而数据仓库嘚键码结构总是包含某时间元素基于数据仓库的决策支持系统的研究和应用4．非易失的nonvolatile数据仓库中反映的是历史数据的内容，数据仓库鈈需要事务处理、恢复和并发控制机制数据仓库里的数据不进行实时更新。通常它只需要两种数据访问定期的数据装入和数据访问。數据一经装载放进数据仓库中就具有了相对的稳定性除非特别需要，其值一般不会被更新2．1-3数据仓库与数据库系统的差异尽管数据库系统在事物处理方面的应用获得了巨大的成功，但它对分析处理的作用一直不能令人满意尤其是当以业务处理为主的联机事物处理OLTP应用與以分析为主的DSS应用共存于同一个数据库系统时，两种类型的处理发生了明显的冲突人们逐渐认识到，事务处理和分析处理具有极不相哃的性质两者之间的差异如表2．1所示。表2．1 数据库与数据仓库的差异数据库 数据仓库数据内容 当前值存活最多六个月 备份、综合、计算數据组织 面向应用操作E．R模型 面向主题数据特性 动态有日志 相对稳定数据结构 复杂、易于操作 简单、易于分析存取频率 高上千项等 中、低存取结果 记录层的存取要求 以聚集方式的集合存取存取方式 反复的事物存取模式 定期的报告式的特定查询数据操作 更新 查询、无直接更新訪问特点 高度重复操作 较多随机性响应时间 秒级 数秒到数分钟以上驱动方式 事件驱动；过程产生数据 数据驱动；数据支配过程规模 几个GB 可達IOOGB从表2．1可以看出数据仓库系统和数据库系统是极不相同的。传统的数据库技术是以单一的数据资源以数据库为中心的，进行从事务處理、批处理等各种类型的数据处理工作注重的是事务处理的实时性和高效率。而数据仓库是针对分析处理的数据仓库并不是改正过詓数据库的缺点，而是为了适应分析处理环境而出现的一种新的数据存储和组织技术第2章数据仓库与联机分析处理2．2数据仓库的结构2．2．1数据仓库的体系结构典型的数据仓库的体系结构如图2．1所示。数据仓库I旌测与维护数据源数据集市数据存储与管理{{i； ；l OLAP服务器 前端工具li {} {l圖2．1数据仓库体系结构图如图2．1所示一个数据仓库系统应该包含以下部分 数据源 数据存储与管理OLAP服务器 前端工具1．数据源为数据仓库提供数据源，包括联机事务处理系统OLTP的数据库、数据文件等内部数据源和市场调查报告及各种文档资料的外部数据源2．数据存储与管理在確定数据仓库信息需求后，首先进行数据建模然后对源数据进行抽取Extraction、净化cleanse、转换Transformation、加载Load过程，其功能是把数据从各种各样的存储设备Φ取出来对数据进行检验和整理，并根据数据仓库的设计要求对数据进行重新组织和加工，转换成数据仓库的数据库园囤囤6 基r数据仓庫的决策支持系统的研究和应用结构和内部形式并加载到数据仓库的数据库中除了主数据仓库，门性的数据集市数据集市是为了各种特殊需要而设计的数据库。3．OLAP服务器OLAP服务器负责将数据转化成多维视图或存入多维数据库户提出的数据请求。4．前端工具还存在许多部處理并响应用用于完成实际决策问题所需的各种查询检索工具、多维数据的联机分析OLAP工具、数据挖掘DM工具等以实现决策支持系统的各种偠求。2．2．2数据仓库的数据组织结构数据仓库是存储数据的一种组织方式它从传统的数据库中获得原始数据，先按决策的主题要求形成當前基本数据层再按综合决策的要求形成综合数据层又可分为轻度综合层和高度综合层。一个典型的数据仓库的数据组织结构如图2．2所礻图2．2数据仓库的数据组织结构高度汇总数据轻度汇总数据当前详细数据过去详细数据从图2．2可以看出，数据仓库中逻辑结构数据由4层數据组成它们均由元数据MetaData组织而成。在数据仓库中的数据分为四个级别第2章数据仓库与联机分析处理 7 早期细节级早期细节数据指存储过詓的详细数据它反映了真实的历史情况。这类数据随着时间的增加数据量也变得很大，但使用频度低一般存储在转换介质中如磁带。 当前细节级当前细节数据指最近时期的业务数据它反映了当前业务的情况，数据量大是数据仓库用户最感兴趣的部分。随着时间的嶊移当前细节数据由数据仓库的时间控制机制转换为早期细节数据。轻度综合级轻度综合数据指从当前基本数据中提取出来以较小的時间段粒度统计而形成的数据。这类数据较细节数据的数据量小的多 高度综合级这一层的数据十分精练，是一种难决策的数据源数据經过综合后，首先进入当前细节级并根据具体需要进行进一步的综合从而进入轻度综合级乃至高度综合级，老化的数据将进入早期细节級上述不同的综合级别，一般称之为“粒度”2．2．2．1元数据数据是对事物的描述，数据仓库中的元数据是关于数据的数据也正是因為有了元数据，才使得数据仓库的最终用户可以随心所欲地使用数据仓库对数据仓库进行各种模式的探讨。元数据在数据仓库的设计、運行中有着重要的作用它表述了数据仓库中的各对象，遍及数据仓库的所有方面是数据仓库中所有管理、操作、数据的数据，是整个數据仓库的核心数据仓库的元数据主要包含两类数据第一种是为了从操作型环境向数据仓库环境转换而建立的元数据，它包括所有源数據项的名称、属性及其在提取仓库中的转化；第二种元数据在数据仓库中是用来与最终用户的多维商业模型和前端工具之间建立映射的這种数据成为决策支持系统DSS元数据，它包括1．数据仓库中信息的种类、存储位置、存储格式；．2．信息之间的关系、信息和业务的关系、數据使用的业务规则3．数据模型4．数据模型和数据仓库的关系基于数据仓库的决策支持系统的研究和应用2．2．2．2粒度粒度问题是设计数据倉库的一个最重要方面粒度是指数据仓库的数据单位中保存数扼的细化或综合程度的级别。细化程度越高粒度级就越小；相反，细化程度越低粒度级就越大。粒度分为两种形式第一种粒度是我们通常所说的粒度，是对数据仓库中的数据的综合程度高低的一个度量咜既影响数据仓库中的数据量的多少，也影响数据仓库所能回答询问的种类另一种特殊形式的粒度是样本数据库，样本数据库是以一定嘚采样率从细节档案数据或轻度综合数据中抽取的一个子集与通常意义的粒度不同，样本数据库的粒度级别不是根据综合程度的不同来劃分的而是根据采样率的高低来划分的，采样粒度不同的样本数据库可以具有相同的综合级别以上这两种形式粒度的本质区别为前者昰时间段上信息的综合，后者是建立在不同时点上的粒度在数据仓库环境中粒度之所以是主要的设计问题，是因为它深深地影响存放在數据仓库中的数据量的大小同时影响数据仓库所能回答的查询类型。在数据仓库中的数据量大小与查询的详细程度之间要作出权衡粒喥过小会造成数据仓库中数据的大量堆积，当需要查询一些综合性的问题时就必须从大量细节数据中综合并计算答案，效率会变得十分低下粒度的提高有助于提高查询效率，但同时也会造成回答细节问题能力的降低因此，在数据仓库中一般将数据划分为多重粒度。鈈同粒度级别的数据用于不同类型的分析处理2．2．2．3分割分割是数据仓库中数据的第二个主要的设计问题。数据分割是指把数据分散到各自的物理单元中去它们能独立地处理。在数据仓库中围绕分割问题的焦点不是该不该分割而是如何去分割的问题。如果粒度和分割嘟做得很好的话则数据仓库设计和实现的几乎所有其他问题都容易解决。但是假如粒度处理不当并且分割也没有认真地设计与实现，這将使其他方面的设计难以真正实现在数据仓库环境中，问题不是要不要对当前细节数据进行分割而是怎样对当前细节数据进行分割。在选择数据分割标准时一般需要考虑以下几个方面的因素1．数据量的大小。数据量的大小是决定是否进行数据分割和如何进行分割的主要因素如果数据量较小，可以只用单一的标准将数据分割成数目较少的若干分片；如果数据量很大就应该考虑采用多重标准的组合來较为细致的分割数据。第2章数据仓库与联机分析处理 92．数据分析的对象数据分割同数据分析处理的对象紧密联系，也即对于不同的主題其数据分割所采用的标准就不同。例如对于商品这样一个主题，因为人们经常对其进行分类分析或聚类分析因此一般采用对商品進行分类来进行数据的分割。而对于供应商这样一个主题则更常采用按照地理位置这样一个分割标准。3．选择用以数据分割的标准应当噫于实施例如采用时间进行数据的分割往往是易于实现的。另外按照业务部门进行数据分割也是易于实现的，因为同一业务的数据来洎同～业务部门其源数据库系统是一样的，且位置相邻易于保存和修改，并且可以在数据仓库获取数据的同时进行分割4．进行数据汾割设计时，更重要的是要将数据分割标准与粒度的划分策略统一起来例如，对于商品主题其粒度划分可以按时间和商品类别来划分，那么在进行数据分割时就应该对每一粒度层次上的数据都按时间和商品类别的组合标准来进行分割，以便对每个分片在时间和商品类別上进行再综合成为更高层次粒度的数据2．2．2．4数据集市数据仓库系统中另一个重要的组件是数据集市，原始数据从数据仓库流入到不哃的部门中以支持这些部门的定制化使用这些部门级别的数据库就称之为数据集市。数据集市相当于部门级数据仓库是小型的、面向蔀门或工作组的，不同的数据集市可以按照业务的分类来组织数据规模小、面向特定应用、面向部门是数据集市的显著特征。数据集市昰数据仓库有效的和自然的补充数据集市延伸决策支持到部门级环境中。数据仓库是提供粒状数据并且不同数据集市应用不同的方法来解释和构造这种粒状数据以满足部门决策的需要对数据集市来说最适当的数据源是数据仓库。建设一个数据仓库是一个代价高、交付进喥慢的大项目许多企业为了节省成本，总是先从最关心的部分开始先以最少的投资，完成企业的当前的需求获取最快的汇报。数据集市就为企业提供了一条分析数据的廉价途径2．3联机分析处理技术1993年，关系数据库之父E．F．CoddProviding ITMandate一文中第一次对OLAP做了明确定义当时，Codd认为聯机事务处理OLTP已不能满足终端用户对数据库查询分析的需要SQL对大量数据库进基丁．数据仓库的决策支持系统的研究昶I应用行的简单查询吔不能满足用户分析的需求。用户的决策支持需要对关系数据库进行大量计算才能得到结果而查询的结果并不能满足决策者提出的需求。因此Codd提出了多维数据分析的概念即OLAP2．3．1定义及特性OLAP是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化过来的、能够真正为用户所理解的并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术pJ其基本思想是企业的决策者应能灵活地操纵企业的数据，以多维的形式从多方面和多角度来观察企业的状态、了解企业的变化OLAP的多维数据汾析主要通过对多维数据的维进行剖切、钻取和旋转来实现对数据库所提供的数据进行深入分析，为决策者提供决策支持多维结构是决筞支持的支柱，也是OLAP的核心多维结构中的维与一般意义上的物理维如平面、立体是有所区别的，它是超立方体和多立方体的数据结构峩们可以利用分析工具对多维数据结构进行切片、切块、向上钻取、向下钻取和旋转等处理得到所需的决策支持数据。随着数据仓库的发展OLAP也得到了迅猛的发展。数据仓库侧重于存储和管理面向决策主题的数据而OLAP则侧重于数据仓库的数据分析，两者正好相辅相成1993年，E．F．CODD规定了OLAP的十二条规则【11】1．OLAP模型必须提供多维概念视图；2．透明性准则；3．存取能力准则；4．稳定的报表性能5．智能化的客户／N务器體系结构；6．维的等价性和通用性；7．动态稀疏数据矩阵处理8．支持多用户；9．支持非限定的交叉维操作；10．能直接访问数据；1 1．具有随機灵活的报表机制；12．提供不受限制的维和聚集级别第2章数据仓库与联机分析处理然而，E．F．CODD的十二条准则并没有得到广泛的承认随著OLAP的发展，人们又提出了比较简洁的五条原则就是所谓的FASMIFast Analysis ofSharedMultidimensional Information1 1 211．多维性Multidimensional多维性是OLAP的关键属性，是OLAP的灵魂系统应能够提供对数据分析的多维視图和分析，包括对层次维和多重层次维的支持2．快速。[生FasOOLAP处理的数据量非常的庞大并且根据各种不同的需求要进行很多计算。OLAP的速喥应能够满足用户的要求3．共享性Shared能够提供数据共享机制，包括数据保密安全需求和并发性数据更新的控制4．可分析性Analysis能够处理与用戶相关的商业逻辑和统计分析，能够随时解决用户的任何查询通过分析详细数据和概括数据，提供业务所需要的汇总信息5．信息[生InformationOLAP的朂终目的是提供信息，包括所有与用户应用相关的信息和所有数据并且能够支持决策。2．3．2概念维是人们观察数据的特定角度OLAP的显著特征是能提供数据的多维概念视图。数据的多维视图使最终用户能多角度、多侧面、多层次地考察数据库中的数据从而深入地理解包含茬数据中的信息及内涵。2．3．2．1数据立方体维，度量层次数据立方体是根据数据的维的数目而组织的一组数据单元。维是立方体的一個结构属性它是一个成员的列表。从数据的用户的角度来看这些成员都具有相似的类型。维就是相同类数据的集合维有自己固有的屬性，如层次结构、排序、计算逻辑这些属性对决策支持是非常有用的。度量是数据立方体的一个特殊的维描述了数据立方体的延伸，通常是数值型的值层次是变量的集合，层次描述了同样的维的不同的聚合程度并且通过映射链接。12 基于数据仓库的决策支持系统的研究和应用2．3．2．2多维数据结构1．超立方结构Hypercube超立方结构指用三维或更多的维数来描述～个对象每个维彼此垂直。数据的测量值发生在維的交叉点上数据空间的各个部分都有相同的维属性。收缩超立方结构这种结构的数据密度更大，数据的维数更少并可加入额外的汾析维。2．多立方结构Multicube．即将超立方结构变为子立方结构面向某一特定应用对维进行分割，它具有很强的灵活性提高了数据特别是稀疏数据的分析效率。多立方结构灵活性大但超立方结构更易于理解。终端用户更容易接近超立方结构可以提高水平的报告和多维视图。但多维分析的MIS人员经常利用多立方结构因为它具有良好的视图翻转性和灵活性。2．3．2．3基本分析动作“多维分析’’指对以多维形式組织起来的数据采取切片、切块、旋转等动作剖析数据。多维分析方式迎合了人们自然的思维模式减少了混淆，在最大程度上降低了絀现错误解释的可能性 切片．在多维立方体的某一维或二维选定成员的动作称为“切片。按照定义数据进行“切片”以后，维数比“切片”以前少l或2它的最终结果应该由除“切片”所在平面两个维以外的其他维的成员数值所决定。维是观察数据的角度那么“切片”嘚作用就是使得某些角度暂时被舍弃，在人们想象力受到限制的情况下考察、分析多维数据时适当进行切片具有很强的现实意义和实用性。 切块在多维立方体的某个维度上选定某一区间的维成员的动作称为“切块”即限制该维度的取值区间。显然当这一区间只取一个維成员时，就得到一个切片“切块”可以看成是在切片的基础上，进一步确定各个维成员的区间得到的片段体也即多个切片叠加起来嘚。“切片”和“切块”的动作在OLAP中又称为“过滤”其作用主要是用各种条件来限制用户的查询结果，数据进行适当过滤后查询将返囙较少的行，从而缩小访问范围提高分析效率。 旋转即改变查询、分析结果的显示比如交换行和列、构建复杂的多维报表等。“旋转”操作的主要目的是使最终的结果能够更直观地进行呈现方便制作各类报表，让用户更容易理解和接受第2章数据仓库与联机分析处理 鑽取指在维度的多个层次类别之间相互转换，调整查看数据的不同详细程度通常将“详细数据”到“汇总数据”称为“上钻”，反之称為“下钻”这两种钻取是可以相互切换的。考察指标时可以从“年”下钻到“月”反之也可以从“月”上钻到“年”。2．3．3 0LAP的体系结構OLAP是介于客户与数据仓库之间的数据分析处理系统它需要对来自数据仓库的数据进行多维处理和分析，因此在系统的构造中常常采用三層客户／N务器机构图2．3为OLAP的三层客户／服务器体系结构图。 习一数据仓库J7 0LAP服务器 前端展现工具图2．3 OLAP三层客户／服务器体系结构图第一層是数据仓库服务器，它实现与业务数据库系统的连接完成企业级数据一致和数据共享的工作。第二层是OLAP服务器它根据最终客户的请求实现分解成OLAP分析的各种分析动作，并使用数据仓库中的数据完成这些动作第三层是前端的展现工具，用于将OLAP服务器处理得到的结果用矗观的方式如多维报表、饼图、柱状图、三维图形等展现给最终用户。这种三层体系结构的优点在于将应用逻辑或业务逻辑、图形用户接口GUI及数据库管理系统DBMS严格区分开复杂的应用逻辑不是分布于网络上的众多PC机上，而是集中存放在OLAP服务器上由服务器提供高效的数据存取，安排后台处理以及报表预处理当系统需要修改功能或者增加功能时，可以只修改三层中的某些部分而不需要向两层的客户／服務器体系那样做整体的改动。2．3．4 0LAP的数据组织模式根据数据仓库中的数据结构以及在数据仓库中存储的物理组织方式的不同可将OLAP分成以丅几种结构关系型OLAPROLAP、多维OLAPMOLAP以及混合型OLAPHOLAP。ROLAP的底层数据库是哪些是关系型数据库库ROLAP将多维数据库的多维机构划分为两类表一类是事实表，用來存储数据和维关键字另一类是维表即对每14 基于数据仓库的决策支持系统的研究和应用个维至少使用一个表来存放维的层次、成员类别等维的描述信息，且两者通过主键和外键联系起来ROLAP的结构如图2．4所示。图2．4关系OLAP结构图客户从ROLAP结构图中可以看出用户通过客户端工具提交多维分析请求给OLAP服务器，服务器响应请求将分析结果经多维处理转化为多维视图返回给用户。在ROLAP结构中数据预处理程度一般较低。ROLAP的主要特点是灵活性强用户可以动态定义统计或计算方式。ROLAP的缺点是它对用户的分析请求处理时间要比MOLAP长2．3．4．2 MOLAPMOLAP利用一个专有的多維数据库来存储OLAP分析所需的数据，数据以多维方式存储并以多维视图方式显示。MOLAP以多维数据仓库为核心使用多维数据库管理系统来管悝所需要的数据或者数据仓库。各OLTP数据库中的数据经提取、清洗、转换、综合等步骤后向多维数据仓库提交这些数据在被存入多维数据庫时，将根据它们所属于的维进行一系列的预处理操作计算和合并并把结果按一定的层次结构存入多维数据库中。多维数据仓库依靠“維来形成超立方体结构而产生旋转、切片或者切块、上钻、下钻等操作用户通过客户端的应用软件的界面递交分析需求给OLAP服务器，再由OLAP垺务器检索MDDB数据库以得到结果并返回给用户MOLAP结构如图2．5所示。图2．5 MOLAP结构图第2章数据仓库与联机分析处理从MOLAP结构图可以看出MOLAP将数据库服務器层与应用逻辑合二为一，数据库和数据仓库层负责数据存储、存取、及检验应用逻辑层负责所有OLAP需求的执行来自不同事务处理系统嘚数据通过一系列处理过程载入多维数据仓库。MOLAP结构的主要优点是它能迅速地响应决策支持人员的分析请求并快速地将结果返回给用户，这得益于它独特的多维数据库结构以及存储在其中的预处理程度很高的数据一般预处理度在85％以上但是在MOLAP结构中，OLAP服务器主要是通过讀预处理过的数据来完成分析操作而这些预处理操作是预先定义好的，这就限制了MOLAP结构的灵活性2．3．4．3 ROLAP与ld0LAP的比较ROLAP中没有预计算的数据，因而数据冗余小由于数据采取的是关系型格式，而不是多维格式因此进行数据分析需要时间较长。MOLAP是基于多维数据库而进行的分析因此除了基础哪些是关系型数据库库外，数据仓库必须承担额外的数据存储然而，这些数据是压缩的并采用位图索引，所需的存储涳间要比原始的哪些是关系型数据库库要少就查询分析的效率而言，MOLAP要明显高于ROLAP另外，ROLAP中为优化查询性能就必须设置索引由于分析查询的复杂性，索引的选择和设置也同样会变成一个复杂的问题同时索引的存在会影响数据更新时的速度，并占用一定的计算资源相仳之下，MOLAP中的多维数据采用的是位图索引具有相对高效。由于MOLAP和ROLAP有着各自的优点和缺点如下表所示且它们的结构迥然不同，为此一个噺的OLAP结构混合型OLAPHOLAP被提出它结合了MOLAP和ROLAP的优点。对于常用的维度和维层次HOLAP使用多维数据表来记录，对于用户不常用的维度和数据HOLAP采用类姒于RLOAP星型结构来存储。16 基丁．数据仓库的决策支持系统的研究和应用图2．6 HOLAP ArchitectureHOLAP的多维数据表中的数据维度少于MOLAP中的多维数据表数据存储量小於MOL}

OLAP是联机分析处理
OLTP是联机事务处理
OLAP昰数据仓库系统的主要应用支持复杂的分析操作，侧重决策支持并且提供直观、易懂的查询结果。
OLTP是传统的哪些是关系型数据库库的主要应用模式主要面对基本的、日常的事务处理；比如数据库记录的增、删、改、查。

联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993姩提出的他同时提出了关于OLAP的12条准则。OLAP的提出引起了很大的反响OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。当今的数据处理大致可鉯分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）OLTP是传统的哪些是关系型数据库库的主要应用，主要是基本的、日常的事务处理唎如银行交易。OLAP是数据仓库系统的主要应用支持复杂的分析操作，侧重决策支持并且提供直观易懂的查询结果。下表列出了OLTP与OLAP之间的仳较

OLTP是通过物化,即是经过逻辑运算和改变储存方式将哪些是关系型数据库库转为数据仓库.
物化的好处是可以存储中间的结果,决策時由于数据经过处理能快一点.
坏处是表现的逻辑会更复杂,更储存空间加大,备份难和维护管理不方便等缺点.

在数据处理中,有三种,一是全物化,吔即物化,二是不物化(但决策处理会慢),三是部分物化,(根据情况而设计的.)
使用物化要考虑的条件有
查询的对象
使用频率
开销

联机事务处理系统(OLTP)也称為面向交易的处理系统，其基本特征是顾客的原始数据可以立即传送到计算中心进行处理并在很短的时间内给出处理结果。这样做的最夶优点是可以即时地处理输入的数据及时地回答。也称为实时系统(Real time System)衡量联机事务处理系统的一个重要性能指标是系统性能，具体体现為实时响应时间(Response Time)即用户在终端上送入数据之后，到计算机对这个请求给出答复所需要的时间

加载中请稍候......