&&&&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&&&&
&&&&&&&&&&
&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&
&论文大全&
浅析大数据技术在企业战略管理中的应用
人气指数:点
发布时间: 09:40&
作者：谢编辑
　　摘要：近年来，大数据技术已成为企业战略管理过程中关注的热点，管理者如何利用大数据技术进行有效地商业分析和预测对于提高企业管理具有重要意义。因此，实现大数据技术与企业战略管理的技术融合成为重中之重。在大数据时代，企业管理者应该深入剖析企业战略管理过程，并结合现有大数据技术在企业战略管理中的应用，提出如何利用大数据技术搭建企业数据分析平台，最终实现提升企业整体核心实力与环境应变能力。
　　关键词：大数据技术；战略管理；营销策略；数据分析平台；应用分析
　　1 引言
　　在大数据时代，我们的行为、位置等每一点变化都变成了可被分析和记录的数据，面对一场新的商业管理模式逐渐形成，企业纷纷吹响了进行数据决策的号角。
　　在传统的决策模式中，由于很难分析全部数据，管理者更倾向于依赖已有的经验和直觉做出决策。大数据时代，面对迅速生成且结构复杂的数据，借助大数据技术极大地节约了搜索信息的成本，管理者通过大数据技术使用多种数学方法建模分析，可以让决策信息获取更加容易，并依据这些决策信息进行商业决策，实现了帮助企业核心竞争力的提高。
　　在未来几年，我国中小企业数量将会不断增加，我们希望通过研究大数据技术，挖掘数据在企业中的潜在价值，帮助企业实现快速发展。大数据技术的分析与预测作用可以重点推动业务单位战略和职能战略的分析与选择，使企业趋于良性发展。所以，在不同阶段用好大数据技术，可以起到事半功倍的效果。
　　2 大数据技术下的企业战略管理剖析
　　企业战略管理是企业根据外部环境和内部运营要素，通过分析、预测、规划和控制等手段，实现充分利用企业的资源达到优化管理，提高经济效益的目的。企业战略管理具体可分为确定企业使命，对各种可能的方案进行战略分析，综合内外部因素，进行战略选择，战略实施，最后根据方案的运行效果进行战略评价。
　　在战略分析中，细致分析企业所在环境是正确制订战略的基础，我们应该充分利用大数据技术对企业的环境进行分析，准确把握企业的环境信息，合理规划组织架构。对传统企业环境分析方法：PEST分析、产业环境分析和市场需求分析等，我们都可以利用大数据技术建立起相应的方法、模型数据库，例如在社会流动性、生活方式的变化、消费心理等方面我们可以建立PEST分析模型，为企业的决策和发展提供支持。
　　此外，在大数据技术的辅助下，企业战略变革的时机选择均为提前性变革，信息是管理者认识变革力量大小的根据，由于大数据技术是进行信息技术融合分析的工具，具有一定的预测作用，能够预测危机的到来，使企业能快速协调企业资源避免遭受巨大损失。因此，企业战略变革在大数据技术指引下是渐进变化，并使企业不断趋于良性发展。
　　企业战略管理是一个循环上升的过程，企业通过对战略管理过程的监控和评价来不断修正原来的分析、选择与实施工作。只有这样企业才能够慢慢变得强大起来。
　　3 大数据技术在企业战略管理中的应用
　　3.1 大数据技术下的企业营销策略
　　大数据技术在企业营销策略中的应用将带来更为科学、精准的多元化营销模式，它以消费者需求为导向，更加人性化地为消费者提供服务，帮助企业赢得市场先机。
　　1） 精准化营销策略
　　大数据时代，企业在营销策略中充分利用大数据技术，通过收集并分析消费者行为，预测需求实现精准营销。在大数据技术指引下企业可以跟踪消费者的日常活动和业务记录，总结规律，从而完善产品做到适时促销。这样才能引导消费者选择，实行精确的点对点营销，企业才能不断发展和形成持久的竞争力 [1] 。
　　例如电子商务交易平台，在这个平台内能够对消费者数据进行收集，包括消费者的搜索、浏览、成交、评价信息等行为记录，而且还拥有会员的年龄、地域等个人数据库，企业使用这些数据为每位消费者都建立数据分析模型，然后得出分析结果且充分利用，比如广告和产品的投放，实现与消费者相关产品的差异化推荐。
　　2） O2O营销模式
　　O2O营销模式为促成线上消费者与线下商品和服务的交易，抓住了互联网、大数据带来的数据爆炸式增长优势，实行跨地域对海量消费者数据实时分析，充分挖掘了线下资源，O2O营销模式的典型代表就是团购模式。
　　在O2O营销模式下的消费者反馈中：线上平台使用大数据技术分析和处理消费者的反馈信息，预测消费者需求进而吸引其他消费者做出消费决策，也能够让本地企业信息库更加完善。线上平台作为线上消费者和本地企业的沟通渠道，本地企业可以借助线上平台的分析帮助企业维护消费者关系，使消费者成为企业的回头客。
　　3） C2B营销模式
　　C2B营销模式是指企业通过与消费者交流，以有效的整合消费者创意为核心，经过精细的策划将消费者资源转化为对企业产品的注意力，从而改变企业营销内容与模式。C2B营销模式改变了原有生产者和消费者的关系，既满足了个性需求，又降低了消费成本。对于企业来讲，可以做到无库存的生产销售，不再去凭老板的&拍脑袋&来做决策，大大降低了生产风险，提高了生产利润[2]。
　　C2B营销模式成功的典型代表就是小米手机，小米手机在C2B营销模式经营下可以事先获得部分生产资金，同时也收获了很好地市场。因此，C2B营销模式具有很强的市场目标指向性，通常市场营销的成功率会比较大。
　　3.2 大数据技术对品牌认知的影响
　　在大数据时代，消费者对品牌忠诚度逐渐降低。消费者作为网络搜寻的主体，他们可以根据网站上相关消费者的评论调整自己对品牌的认知，微信、论坛等新媒体都可以为消费者提供相关产品的信息。他们还可以根据其他消费者的体验判断目标商品是否符合他们的标准，再决定是否购买，而不只是看品牌。所以，企业应该多与消费者沟通，了解消费者的需求[3]。
　　在意识到消费者的这种转变时，企业要充分利用大数据技术，分析消费者的使用习惯，形成企业与消费者的良性互动，全面提升消费者对企业品牌的整体认知，增加消费者对产品品牌的黏性。例如：O2O营销模式借助于互联网，以扩大互联网运营网点覆盖率和智能终端的应用为保证，以提升消费者的体验为导向，不断地积累消费者，保证他们走到哪、玩到哪，形成商业服务的良性循环。
　　3.3 大数据技术降低企业新产品研发成本
　　将传统工业与大数据产业相结合，利用大数据技术进行新需求的探索和新产品的研发，既能降低研发成本，又能缩短新产品研发设计周期。
　　例如：在一些生产型企业中，为快速占领并增加市场占有率，经常对产品增加许多新功能，但是，一些新功能并不会被消费者所使用，而有些真正需要的功能却容易被忽略。面对这种状况，大数据技术可以对消费者需求数据进行收集，并根据这些数据形成有价值的分析报告，让企业更有针对性地研发新产品，实现降低企业研发成本和提高市场占有率的企业目标。
　　3.4大数据技术下企业员工的差异化劳动
　　每个企业都拥有记录员工各方面原始能力和员工个人素质的原始数据，这些数据信息真实反映了员工受训情况的能力水平，包括员工培训经历、接受专业培训课程的时长和内容、培训考核情况、解决问题的能力、参加比赛结果、奖惩情况等等[4]。
　　人力资源管理部门使用这些数据可以客观地了解员工的学习效果，科学地制定人力资源培训计划。并根据员工的能力差异安排工作岗位，最大化的提高企业的工作效率，实现物尽其才，人尽其能。
　　3.5 大数据技术对决策支持系统的影响
　　以网络技术为基础的大数据时代，分散式决策成为大数据下决策的主要形式。企业面对管理网络化、决策知识分散化，人人都成为企业决策的参与者，这个更加复杂的决策环境，决策的时效性变得尤为重要，传统的决策支持系统已经不能满足企业发展的需要。
　　大数据技术为企业带来更加科学地决策分析，传统企业结构必将被权力分散的扁平化企业结构所替代。我们要通过推进决策模式的创新，建立适应大数据环境的群决策体系结构和协同工作模型，建立促进成员之间信息沟通、共享的群决策交互平台；同时结合现有云服务平台，搭建大数据下的数据、知识、模型和方法的资源池；构建基于服务的、智能分析、快速自主决策的大数据决策支持系统接口，针对性的对接不同层次的智能决策信息系统。只有充分认识到大数据技术对企业管理决策带来的影响，才能提高企业管理决策能力和效率[5]。通过运用大数据技术能够对所要分析数据的各个变量之间的数据关系进行更加深入探索，并借助决策分析模型提升公司进行风险决策时的准确性。
　　4 大数据技术平台的搭建
　　4.1 大数据技术实施基础
　　1） 思维的转变
　　维克托&迈尔&舍恩伯格指出：&大数据时代最大的变革就是，放弃对因果关系的渴求，关注相关关系&。即：我们只需知道&是什么&，而不用知道 &为什么&。面对大数据的冲击，管理者首先要对海量数据进行量化分析，得出结果，最后再进行决策。这就要求我们在思维上要与时俱进，树立大数据的思想意识，确立构建和应用大数据的战略地位。
　　2） 数据意识的转变
　　大数据的价值源自于它对海量的、碎片化的数据分析，探索数据之间的关联模式，挖掘数据中的信息，并快速获取影响未来信息的能力是大数据技术的魅力所在。企业为了能更好地进行管理和实施决策，最重要的是进行数据的获取。所以，企业要划定数据收集范围，准确区分基础数据和专属数据，充分保证数据收集的准确性和一致性。
　　另外，我们要从大数据的特性出发把握好数据价值的稀疏性，注意数据清洗的&质&与&量&的关系，数据处理应该有来自一线的数据，通过全面、完整的数据判断决策是否正确。
　　3）管理模式的转变
　　企业在面临大数据技术的挑战时，企业要把数据管理作为发展的主线，了解数据是什么，通过科学的数据分析方法让数据说话，作出有利于企业发展的分析和决策。因此，挖掘数据的潜在价值就成为我们转变管理模式的主要依据，从而告别管理者根据已有的经验进行决策和管理。建立起适应大数据时代的新管理模式&海量数据收集&&分析数据得出结论&&研究讨论确立终极决策方案&&数据存储二次利用&。这种管理模式可以让管理者科学地对企业内部和外部客户进行管理，实现企业对客户进行增值服务的附加值；更能够为企业发展带来商机、提供丰厚的商业财富。
　　作为新的管理模式面对多部门大量的异构数据，不仅整合难度大，而且技术复杂。只有建立一个科学地数据管理团队，利用大数据技术平台，进行跨部门协调才能有效地收集、处理各个业务系统的数据，才能实现跨部门的信息资源共享。这样，管理模式转变也才变得更合理，更科学。
　　4.2 大数据技术平台的搭建
　　俗话说：&七分管理，三分技术&；&云计算&的不断发展和应用，为大数据技术平台的数据整合提供了新的技术支撑。云计算作为一种技术模式可以对大量异构数据进行管理、处理和转换。利用大数据技术平台，企业能从多种非传统渠道中及时获取以前无法获得或无法使用的数据（包括非结构、半结构等），实现对传统数据的关联补充和快速整合。
　　企业建立基于云计算的大数据技术平台，可以提高企业的风险应对能力，而且可以快速适应未来的市场需求，挖掘出企业客户潜在风险，对企业的战略变革等也都能应对自如。此外，在云端使用数据虚拟化能够促进大数据集成管理。满足企业数据分析需求，提升在复杂大数据环境下的信息服务质量，加快决策问题求解。
　　在搭建大数据技术平台的硬件设施方面，主要涉及新技术背景下的数据采集，&传感器&将成为大数据技术应用中的重要一环。而软件设施不但涉及新数据的采集，而且还要针对旧有数据进行分析和挖掘；此外，软件的升级包括算法的更新，分析方法和数据处理方法的改进等。
　　企业可以通过云平台在内部建立统一的大数据技术平台，其架构可以参考如图1所示：
　　1）数据分析平台：主要解决数据存取、分析、处理的问题，将现有各业务部门公共数据进行整合、归档，通过挖掘数据之间的关联，预测业务发展的方向，提供决策需要的关键数据。例如：人事信息、管理信息系统的数据信息等。此外，建立统一的数据分析平台还可以为企业各个业务部门提供数据支撑和使用。
　　2）业务支撑数据平台（主业务支撑平台和其他业务支撑平台）：主要解决数据采集的问题，企业内各部门根据业务需要在企业统一规划下建立各自的业务平台。
　　通过业务集成、数据整合来建立基于云的大数据技术平台，不仅可以作为企业一种管理方式变革的指导，而且可以增强业务系统间的协作关系；通过建立统一的数据标准，遵循数据间操作的规范协议，可以向其他业务系统提供数据服务；通过数据转换、共享，将数据整合起来，能够消除企业各部门信息化中存在的信息孤岛现象，有效地提高数据的使用率。
　　4.3 大数据技术在企业战略管理中的优势分析
　　企业在战略管理实施中使用大数据技术的优势主要表现在以下几个方面：
　　第一，大数据技术简化了企业的组织结构，扁平化的企业结构缩短了数据分析时间，必将成未来企业的发展趋势；同时，在业务数据支撑平台的数据和信息可以直接反馈到管理者手中，避免了消息传递过程中发生的扭曲。
　　第二，大数据技术平台解决了传统企业部门具有泾渭分明的界限实则数据不能共享的特点；而且大数据技术平台加速了企业数据分析和共享，消除企业内部的冗余数据，节约了存储空间。
　　第三，大数据技术平台提供的其他业务支撑平台补充了企业原来只能采集结构化数据的不足。加强了对消费者个人偏好管理，对企业部门的界限也有很好的补充作用。
　　大数据技术平台实现了实时高效的数据信息收集、数据集成处理、数据分析结果可视化和实现辅助决策。这些都简化了原来数据处理模式，变得更加简单、形象和易于理解。例如对营销策略、市场环境分析、潜在对手影响度分析和对企业客户或项目的潜在危险分析等等，这些所有在企业战略管理涵盖数据问题的，在大数据技术分析下都能提供给你一个合理、可供支撑的科学数据，利用数据虚拟化手段实时方便的呈现给企业管理者。
　　5 结论
　　在大数据隐藏的巨大社会效益和经济效益的牵引下，数据科学研究和相关人才培养已经引起政府、高校和企业的高度重视。在2016年贵阳数博会期间，大数据产业发展引起国家领导人高度关注，极大地推动了大数据的战略定位、收集分析和行业应用；而且云南、四川、北京等地在今年也获得审批开始进入数据科学家的培养行列；百度、阿里巴巴等数据资源型和研发应用型企业大量涌现，并引领大数据产业的发展。
　　现在，以大数据技术为基础的精准管理为企业提供了决策工具，通过大数据分析、预测更好地把握企业管理脉络，使企业管理决策更科学准确。在预测企业未来的发展中，将构建大数据技术作为企业战略管理的手段，必须要了解企业战略管理的流程、企业风险追求和核心竞争力，才能有助于大数据技术的实施，才能提升企业综合实力，从而为大数据技术提供了广阔的发展空间。
　　参考文献：
　　[1] 李风蕊，赵彩苑.大数据时代商业银行的营销策略探讨[J]. 现代营销（下旬刊），2015（06）：92.
　　[2] 黄瑞国.大数据技术在电子商务C2B模式中的应用分析[J]. 电脑知识与技术，2015（06）：237-238.
　　[3] 陈洪梅，付广旭.大数据背景下消费者的品牌认知研究现状[J]. 品牌，2015（08）：12.
　　[4] 刘佳，李滋阳.大数据时代下的人力资源管理分析[J]. 特区经济，2015（05）：82-83.
　　[5] 何军.大数据对企业管理决策影响分析[J]. 科技进步与对策，2014（04）：65-68.
　　中国期刊库（），是一个专门从事期刊推广、的网站。
　　本站提供，寻求论文发表代理，快速发表论文，发表论文格式指导等解决方案：省级论文发表/国家级论文发表///职称论文发表。
　投稿邮箱：
　在线咨询：、
　在线咨询：、
　联系电话：
　　【免责声明】本文仅代表作者本人观点，与论文发表，期刊发表_中国期刊库专业期刊论文发表网站无关。论文发表，期刊发表_中国期刊库专业期刊论文发表网站站对文中陈述、观点判断保持中立，不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考，并请自行承担全部责任。
发表论文投稿邮箱：
谢老师联系QQ：
陆老师联系QQ：
蒋老师联系QQ：
刘老师联系QQ：
联系电话：
期刊合作加盟邮箱：
微信号咨询:
咨询电话： 投稿邮箱：(#换成@)
本站郑重声明：文章只代表作者观点， 并不意味着本站认同。所载文章、数据仅供参考，使用前请核实，风险自负。
部分作品系转载，版权归原作者或相应的机构&&若某篇作品侵犯您的权利，请来信告知& 上传我的文档
 下载
 收藏
【网址：】坏男孩学院视频课程，教授恋爱心理学，把妹技巧，表白，邀约，私密空间，核心自信。没钱？不帅？也要让女神倒追你！
 下载此文档
正在努力加载中...
浅析大数据在企业中的应用
下载积分：300
内容提示：浅析大数据在企业中的应用
文档格式：PDF|
浏览次数：1438|
上传日期： 23:39:53|
文档星级：
全文阅读已结束，如果下载本文需要使用
 300 积分
下载此文档
阅读此文档的用户还读了
浅析大数据在企业中的应用
官方公共微信大数据从小做起&中小企业的Big Data之道
很多普通中小企业，特别是中型的互联网和物联网企业，在大数据方面的应用场景也有很多。本文给准备利用大数据的中小企业提出了五点建议。
任何一个时代或者模式的兴起，都离不开与之相关的Killer App，比如，C/S时代的SAP ERP，互联网 1.0 时代的门户，以及互联网 2.0时代的搜索和SNS等，那么在当今云计算这个时代有那些Killer App呢?当然首先想到的肯定是以VMware 和Amazon EC2为代表的虚拟化和相关IaaS服务，除此之外，新近崛起的大数据绝对也是云计算的Killer App之一。不仅类似百度、阿里，以及腾讯这样的互联网巨头有相关的应用需求，而且根据笔者平时与客户的接触，发现有很多普通中小企业，特别是中型的互联网和物联网企业，在大数据方面的场景也有很多。本文将首先给大家介绍一下在笔者眼中的大数据，以及大数据的意义和特点，再介绍一下大数据的常见处理流程，之后将会和大家分享一下笔者如何帮助一些中小企业实施大数据相关的解决方案，也就是大数据如何从“小”做起。
什么是大数据?
过去计算机产生的数据较简单，基本上都是一笔笔事务，总量虽大，但整体增长幅度都还是可控的。比如传统的金融企业，经常使用几台大型机就能管理其所有的业务数据。而最近几年，由于以平板、智能手机和传感器为代表的智能设备越来越多，这些设备的生成的数据更是远远地超过我们的想象。据IDC的统计，全球数字信息在未来几年将呈现惊人增长，预计到2020年总量将是现在的44倍。据另外一份数据显示，全球 90% 的数据都是在过去两年中生成的，并且每年以50%的速度增长。每天，遍布世界各个角落的传感器、移动设备、在线交易和社交网络会产生PB级别的数据;每个月，全球网友会发布了10多 亿条 Twitter 信息和300多 亿条 Facebook 信息。那么这些大数据的存在有什么价值和意义呢?
大数据的价值
笔者个人和一些朋友一直觉得大数据就好比一口油井，因为里面蕴含着非常丰富的价值，如果企业能有效利用其内部存储的海量数据，那么将会改善其自身的产品和服务，从而提升客户和受众的体验，在大数据时代获取竞争优势。并且随着本身分析和挖掘技术不断的提升，可以在之前的基础上提供新的决策模式，从而支持管理者进行快速和精确地决策，这样能够超越对手，抢占市场先机。
以下的内容会通过几个行业来举例讲解一下大数据有哪些意义和作用?
   ●互联网企业
有一些客户主要是做网络舆情或者网络广告方面的业务，他们每天都会处理和收集TB级别的日志或者网页信息，结构化和非结构化数据都有。他们就是通过分析这些数据来为其客户提供价值，比如分析一下一个男性护肤品广告是在世界杯期间投放好，还是在亚洲杯期间播出好?在电子商务方面，eBay是个很好的例子。其分析平台每天处理的数据量高达100PB，超过了纳斯达克交易所每天的数据处理量。为了准确分析用户的购物行为，eBay定义了超过500种类型的数据，对顾客的行为进行跟踪分析，并且通过这些分析促进eBay自身的业务创新和利润增长。
  ●智能电网
我们有一个合作伙伴，他们是做智能电网相关的解决方案。对那些电网而言，如果无法准确预估实际电力的使用情况，将会使电网要求电厂发出过量的电力，虽然这些过量电力可以通过某种模式进行保存，但是大量的电力浪费已不可避免。而通过他们智能电网的解决方案，每隔一刻钟会采集一个省几千万用户的用电数据，之后他们会根据这些数据来精确分析用户的用电模型，最后通过这个用电模型来优化电力生产，从而有效地减少电力资源的浪费。
  ●车联网
在车联网方面，有一家客户在一个城市有几十万台基于Android的终端，而这些终端每隔一段时间都会发送具体位置的GPS消息给后端的数据集群，接着这些集群会分析这些海量的GPS信息，分析出哪些路段在什么时候比较堵，之后将这些非常有价值的信息不断地推送给客户，从而帮助用户减少在路上所消耗的时间。
  ●医疗行业
在医疗行业，大数据的用例有很多。首先，通过分析大量的病例信息，将有效地帮助医生治病;其次，假设在一个病人身体的多个节点加入探针设备，而且每个探针每天会采集GB级别关于人体细胞和血液运行状态的数据，之后计算集群可以根据这些数据来进行分析，这样能更精确地判断病因，从而让医生对病人进行更具针对性的治疗。
  ●机器学习
在这方面，最出名的例子莫过于最近很流行的Siri，它后台有一个庞大的HBase集群来对类似语言这样的文本数据进行分析和管理，从而使Siri变成一位越来越老练的个人助手，为iPhone 4S的用户提供了日期提醒、天气预报和饭店建议等服务。除此之外，还有IBM的Watson，它通过一个基于Hadoop UIMA框架的集群来挖掘海量的文本信息来实现一定程度的人工智能，并在美国著名知识问答节目Jeopardy中战胜多位出色的人类选手。
  ●国家安全
这方面最出名的例子，莫过于美国的联邦情报局(CIA)。在过去10年中，他们通过无人侦察机收集了大量阿富汗那边地理相关的视频资料，之后通过分析这些海量视频资料，来对极具危害性的恐怖组织团伙进行定位。
大数据的特点
大数据，不仅有“大”这个特点，除此之外，它还有很多其他特色。在这方面，业界各个厂商都有自己独特的见解，但是总体而言，我觉得可以用“4V+1C”来概括，“4V+1C分别代表了Variety(多样化)、Volume(海量)、Velocity(快速)、Vitality(灵活)以及Complexity(复杂)这五个单词。
Variety(多样化) 大数据一般包括以事务为代表的结构化数据、以网页为代表的半结构化数据和以视频和语音信息为代表的非结构化等多类数据，并且它们的处理和分析方式区别很大。
Volume(海量)  通过各种智能设备产生了大量的数据，PB级别可谓是常态，笔者接触的一些客户每天处理的数据量都在几十GB、几百GB左右，估计国内大型互联网企业每天的数据量已经接近TB级别。
Velocity(快速)  大数据要求快速处理，因为有些数据存在时效性。比如电商的数据，假如今天数据的分析结果要等到明天才能得到，那么将会使电商很难做类似补货这样的决策，从而导致这些数据失去了分析的意义。
Vitality(灵活)  在互联网时代，和以往相比，企业的业务需求更新的频率加快了很多，那么相关大数据的分析和处理模型必须快速地适应新的业务需求。
Complexity(复杂) 虽然传统的BI已经很复杂了，但是由于前面4个V的存在，使得针对大数据的处理和分析更艰巨，并且过去那套基于关系型数据库的BI开始有点不合时宜了，同时也需要根据不同的业务场景，采取不同的处理方式和工具。
大数据的常见处理流程
前面已经介绍了了处理大数据的必要性和特点，那么接着将谈到如何处理大数据，特别是常见的处理流程。具体的大数据处理方法其实有很多，但是根据长时间的实践，笔者总结了一个基本的大数据处理流程(图1)，并且这个流程应该能够对大家理顺大数据的处理有所帮助。
图1. 大数据的常见处理流程
整个处理流程可以概括为四步，分别是采集、导入和预处理、统计和分析，以及挖掘
大数据的采集是指利用多个数据库来接收发自客户端(Web、App或者传感器形式等)的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。
在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。
2.导入/预处理
虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。
导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。
3.统计/分析
统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC 的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。
统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。
与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测(Predict)的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的K-Means、用于统计学习的SVM和用于分类的Naive Bayes，主要使用的工具有Hadoop的Mahout等。
该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，还有，常用数据挖掘算法都以单线程为主。
如何从“小”做起?
由于笔者平时与中小企业的接触非常频繁，虽然技术方案与实际的问题相关，但却很难在一篇文章当中详尽地道来。除了上述的基本处理流程之外，以下会将一些基本的从“小”做起的思路作阐述：
1. 认识自己的不足。主要是在技术、人力和财力等方面不仅无法与Google和Amazon这样的国外巨头比肩，而且与国内三大互联网BAT(百度、阿里巴巴和腾讯)也是无法比肩的，所以需要深刻认识;
2. 明确分析自己的需求。下面是几个常见的需求选项：
   ●数据类型，是结构化，半结构化，还是非结构化为主;
   ●数据大小，内部数据级别是TB级别、PB级别或者PB以上的级别;
   ●读写量级，比如每小时写入的数据达到GB级别，或者每天写入达到TB级别等;
   ●读写比例，是写为主，还是以读为主;
   ●并发数，大致的每秒并发数;
   ●一致性，只接受强一致性，或者可以接受最终一致性和弱一致性;
   ●延迟度，最高能容忍的延迟度是多少，是10毫秒，100毫秒，还是1秒;
   ●分析的复杂度，需不需要引入较复杂的数据挖掘算法等。
3. 要灵活使用现有的工具。首先，推荐使用一些开源，或者是价格可以承受的商业软件。虽然个人并不排斥自建，但是一定要有具体的商业价值，并且最好是在现有工具上的画龙点睛，而不是从头开始构建;其次，工具方面应与具体的场景相关，在不同的场景要使用不同的工具。
4. 尽量不要走平台思路，应以具体的应用和场景为主。因为建一个平台有很多附加的成本和设计，比如，Amazon的云平台是通过至少五年时间构建而成。特别是项目初期，不建议走平台这个方向，而是应脚踏实地以具体的商业场景为主。
5. 找准切入点。最好是找到一个技术难度小，并且有一定的商业价值的场景来做大数据技术落地的试点，并不断地进行测试和迭代来验证，而不是一味求复杂、求大，这样比较容易说服企业管理层来进行长期的投入和支持;
最后，想强调一下，“罗马不是一天建成的”。无论是Google的用于大数据处理的基础设施，还是国内淘宝的“云梯”都是一步步通过不断的积累和实践完成的，所以中小企业应该贯彻“大处着眼、小处着手”的方针来持续地验证和推进。
关于作者：
吴朱华，曾在IBM中国研究院参与过多个云计算产品的开发工作，现在专注于YunTable(/p/yuntable/)和YunEngine(/)的研发。
第一时间获取面向IT决策者的独家深度资讯，敬请关注IT经理网微信号：ctociocom
&&&除非注明，本站文章均为原创或编译，转载请务必注明出处并保留： 文章来自
相关文章：
硬件成本只要200美元，距离达到1米（现实环境30cm内具有可用性），设备小巧可放入口袋
对于大多数的企业技术和业务决策者来说，制定符合自身需求的物联网技术和方案开发展战略非常困难
企业的安全运营中心到底应该具备哪些核心职能，新时期CISO的技能、职责领导力需要覆盖那些领域呢？
本论文介绍了IOActive在多个类型机器人中发现的网络安全问题，并对当前机器人网络安全技术现状、面临的威胁进行了分类介绍
本白皮书从硬件基础设施、服务部署、用户身份、存储服务、网络通讯和运营安全五个层面为我们系统介绍了Google基础设施的安全设计架构和方法
用一百万欧元，一个企业就可以拥有含一万六千个 x86 核的私有云架构基础，并且对成本，外来情报威胁拥有绝对控制权，这是任何国家的公有云供应商都无法提供的。
要使物联网真正成为主流，企业就需要遵循清晰的检查清单来确保其物联网计划的安全。
Ruckus Wireless今天宣布推出全面定制解决方案Ruckus服务提供商云，帮助服务提供商向其客户提供高价值托管服务。
针对不同类型的设备和使用场景，教育机构如何能够确保学生安全进入Wi-Fi网络并获得最佳质量的连接呢？
第五届全球云计算大会暨国际网络通信展览会· 中国站将汇集6000名云生态链内企业CIO、CTO、技术开发者和企业级终端用户，交流云计算在金融、电商、制造业、快消、零售、教育等应用。
会议地点上海世博展览馆上海浦东新区国展路1099号
讨论时下汽车行业发展动向，如何借助信息化技术实行全产业链的优化升级，届时更有整车、零部件、经销商等全产业链CIO及汽车行业信息化解决方案供应商对信息化应用进行交流和分享，重点研讨大数据、物联网、云计算、移动应用等最新信息技术在汽车产业的应用发展，推动汽车行业转型升级。
会议地点上海
&Copyright (C) 2011,ctocio.cc - IT经理网}