大数据在哪里中台是分析大数据在哪里的地方吗?

章乐焱恒生公司首席架构师、夶数据在哪里中台发展部经理。关注FinTech前沿先后主导适用于大规模高并发交易处理的多层分布式系统、用于高性能内存业务处理的定序组播高可用架构、适合互联网金融的弹性云架构的研发与大规模应用。

从大数据在哪里仓库到大数据在哪里中台其实也还没有谁权威定义什麼是大数据在哪里中台我借用了一个定义:作为全领域大数据在哪里的共享能力中心,旨在提供大数据在哪里采集、大数据在哪里模型、大数据在哪里计算、大数据在哪里治理、大数据在哪里资产、大数据在哪里服务等全链路的一站式产品、技术、方法论的服务构建面姠大数据在哪里应用的大数据在哪里智能平台。

并且我也很认可大数据在哪里中心业务正经历了从大数据在哪里仓库到大数据在哪里平台再到大数据在哪里中台的演进,正赋予大数据在哪里中台更多的职能、更高的价值

从简单字面理解,大数据在哪里中台是位于前端大數据在哪里应用与后端大数据在哪里源之间的中间层是为快速敏捷前端应用需求与相对缓慢的核心大数据在哪里变化及复杂繁琐的大数據在哪里维护之间提供适配;所以,大数据在哪里中台即要有从事大数据在哪里维护“脏活累活”的人还要有懂全域核心大数据在哪里嘚高层级建模分析人员。

上述理解看上去与传统大数据在哪里仓库区别不大如何看待大数据在哪里仓库、大数据在哪里平台、大数据在哪里中台的区别,核心是对大数据在哪里应用价值的不断提升从“看数”到“用数”,再到创造新业务可称之为大数据在哪里应用的彡种不同境界。

基于大数据在哪里仓库的应用一般提供大数据在哪里分析报表等功能,解决企业内部“看数”的需求比如领导者驾驶艙,为企业决策层提供经营大数据在哪里响应企业运营的需求;对于金融机构,响应外部监管机构的各种大数据在哪里报送也是一种“看数”的强需求。

大数据在哪里的准确性、及时性是“看数”阶段对大数据在哪里中心的重要指标。基于大数据在哪里平台的应用茬满足“看数”的前提下,越来越多的“用数”需求被提出越来越多的前端业务场景需要“用数”,要用大数据在哪里来支持业务发展需要大数据在哪里中心及时响应业务需求。

比如:前端的产品运营、用户运营部门他们是实现企业价值的前台核心部门,互联网时代敏捷、快速的需求第一时间传递到大数据在哪里中心。

在现代大大数据在哪里技术支持下大数据在哪里中心迅速平台化,前端业务所需的大数据在哪里集可以快速、灵活地被加入与使用包括大量的外部参考大数据在哪里的引入;大数据在哪里的形式也从传统数仓的结構化大数据在哪里,延展到半结构化大数据在哪里、非结构化大数据在哪里比如用户行为大数据在哪里、外部舆情大数据在哪里。

随着夶数据在哪里中心价值的提升大数据在哪里治理被提上日程,越来越多的企业愿意为大数据在哪里质量、大数据在哪里生命期管理、大數据在哪里安全与隐私保护投入更多的资源

基于大数据在哪里中台的应用,随着大数据在哪里多样性的发展以及大数据在哪里价值挖掘技术越来越复杂对前台应用“用数”的技能要求会越来越高,所以大数据在哪里中心需要把相应的能力沉淀、共享

在能力聚焦过程中,特别是在机器学习、自然语言处理、知识图谱等AI技术的催化下大数据在哪里中心拥有了创造业务的能力。

机器学习揭示人工专家未能察觉的大数据在哪里结构与大数据在哪里关系自然语言处理使得机器能替代人工高效提取非结构化大数据在哪里中的有用信息,知识图譜让信息的组织更加灵活有效并能利用图计算技术进行相关的推理;所以大数据在哪里中心将越来越多的增值服务包装成API,提供给前端應用从而使得大数据在哪里中心发展成大数据在哪里中台,更多的大数据在哪里被汇聚、被增值赋能给下游应用。

在金融领域各种智能资讯、智能投研、智能客服、智能风控,正是大数据在哪里中台支持下创造出来的全新业务场景正在迅速颠覆这些业务上原先的人笁处理模式。

对于大数据在哪里仓库、大数据在哪里平台、大数据在哪里中台也有人做了下面的总结大数据在哪里仓库对应分析报表即垺务;大数据在哪里平台对应大数据在哪里集即服务;大数据在哪里中台对应大数据在哪里API即服务。

对于大数据在哪里的重视莫过于阿里“DT时代”、“大数据在哪里是新能源”,这些概念大多出于阿里包括“大数据在哪里中台”,“大中台、小前台”

然而,大数据在哪里资产如何真正激活发挥价值从大数据在哪里中台的角度看,还是要找到合适的场景把它服务化输出,越是刚需的场景也越能体现價值

作为资本市场的IT服务商,我们相信从业务需求出发结合大大数据在哪里、人工智能的应用,将会是资本市场数字化升级的主要方姠

作为资本市场金融机构核心IT系统的主要提供者,在大数据在哪里中台的建设规划上恒生一定是一个重要的参与者有哪些大数据在哪裏资源,会赋能到哪些业务场景这是我们首要分析的,特别是除传统业务数仓之外的用户大大数据在哪里、投研大大数据在哪里

01传统“业务数仓” 传统“业务数仓”已普遍被用于客服、合规风控,基于内部业务系统的结构化大数据在哪里为主首先满足内外部“看数”嘚需求。

由于业务系统经过多年的建设发展一般系统建设也可能来自多家开发商或者部分自研,系统版本也几经迭代技术架构多为异構,所以传统“业务数仓”迫切需要补的短板是通过大数据在哪里治理提升大数据在哪里质量

然而,基于业务系统的现状大数据在哪裏治理很难从根本上解决上游业务系统变更对下游大数据在哪里应用的影响,需要恒生这样的主流开发商从业务系统设计、交付环节满足機构对大数据在哪里治理的需求

02 用户大大数据在哪里 “客户第一”的理念一般为金融机构所信奉,IT的发展也首先考虑直接面向客户的场景所以随着大大数据在哪里技术的发展,“用户大大数据在哪里”相应的大数据在哪里资产首先被关注

除了业务系统中沉淀结构化用戶信息,用户行为大数据在哪里被进一步采集然而很多情况下,使用第三方通过互联网提供的用户行为分析服务导致存在用户隐私信息被无意中泄漏给第三方的安全隐患。

在网络安全已立法的今天金融机构应当建立自己的用户行为分析系统,并告知用户获得用户的授权。“用户大大数据在哪里”主要应用场景有金融机构APP的运营、精准营销

基于用户大大数据在哪里的用户行为分析系统,是金融APP产品運营的重要工具拉新、促活、留存,都需要有大数据在哪里的支撑在这个过程中还需要合法购买第三方的用户分析大数据在哪里、明細大数据在哪里补足进入大大数据在哪里平台,并能有效使用这些外部大数据在哪里

同时,利用用户大大数据在哪里及用户标签系统對用户进行全面、精准的画像,从而实现千人千面的用户服务比如资讯信息的个性化推荐、金融产品的个性化推荐。这些应用都是大数據在哪里中台利用“用户大大数据在哪里”可以提供的大数据在哪里服务

03 投研大大数据在哪里 在资本市场,投资是核心的业务不管是愙户自主投资、代客理财、自营业务、还是投行业务,后面都需要“投研大大数据在哪里”的支撑

人工智能的相关技术(机器学习ML、自嘫语言处理NLP、知识图谱KG)在“投研大大数据在哪里”的深度加工上也是日渐实用,核心体现在提升大数据在哪里处理效率、降低大数据在哪里处理成本、增强特色大数据在哪里等方面

特别是由于文本类非结构化资讯信息在投研大大数据在哪里中占很大的比例,自然语言处悝技术在资讯关键信息抽取上发挥重大作用

投研大大数据在哪里的核心是对作为投资标的企业或金融产品的情报进行收集与分析,对标嘚企业或金融产品进行多维度标签化并利用知识图谱的图大数据在哪里库技术进一步梳理相关实体的相互关系,形成诸如企业股权关系鏈、上下游产业链然后用图计算相关技术进行各种量化关系推导,结合金融工程相关理论可在投资机会分析、投资风险预警上发挥重偠作用。

恒生大数据在哪里中台发展部借助于核心业务系统供应商的占位优势,致力于为资本市场各类金融机构提供一体化的大数据在哪里中台解决方案包括:一体化的平台建设、大数据在哪里治理、大大数据在哪里AI应用。

在大数据在哪里中台的建设上我们认为适合采取整体规划,场景驱动小步快跑的策略来演进比如:在业务大数据在哪里中台领域,以统一监管报送、领导者驾驶舱作为应用场景落哋;在用户大大数据在哪里中台领域以用户行为分析、个性化资讯推荐作为应用场景落地;在投研大大数据在哪里中台领域,以智能资訊、量化特色因子加工作为应用场景落地

大数据在哪里中台的建设,一方面有助于支持前端业务的快速迭代、跨系统的相互协作;另一方面有利于大数据在哪里分析应用能力的专业化做大做强。风口上的大数据在哪里中台将成为全领域大数据在哪里的能力共享中心。


}

阿里提出了“大中台小前台”,其中台事业部包括搜索事业部、共享业务平台、大数据在哪里技术及产品部大数据在哪里技术及产品部应是大数据在哪里中台建设的核心部门。

那么大数据在哪里中台到底是什么?具体包含哪些内容跟大大数据在哪里平台是什么关系?在架构层面是怎么体现的大數据在哪里中台跟产品又有什么关系?

阿里大数据在哪里技术及产品部的掌门提倒了大数据在哪里中台的具体含义这里引用他说的话:

“很多人会把大数据在哪里比作“石油”,马老师(马云)也说过阿里巴巴要成为全球电子商务的“水电煤”。我们现在搭建的大数据茬哪里中台就是希望扮演“发电厂”的角色。”

“我们知道电力的发展可以分为几个阶段,最开始是一些有能力的企业自己发电后來出现新的工业产能,有的企业电用不掉有的却不够用,这时候国家机构就出来了会去搭建国家级的电网,不管是核能发电还是风仂发电、水力发电,最大程度地保障不同群体的用电需求”

“我们大数据在哪里中台也是这样一个运转思路,我们落到实处是一个倒三角形从下往上分为四个部分——”

“第一是大数据在哪里技术。没有大数据在哪里中台的时候不管是阿里内部还是各商家,大家都有洎己的大数据在哪里中心、机房、小大数据在哪里库但当大数据在哪里积累到一定体量后,这方面的成本会非常高而且大数据在哪里の间的质量和标准不一样,会导致效率不高等问题因此,我们需要通过大数据在哪里技术对海量大数据在哪里进行采集、计算、存储、加工,同时统一标准和口径”

“第二是大数据在哪里资产。大数据在哪里中台把阿里系的大数据在哪里统一之后会形成标准大数据茬哪里,再进行存储形成大大数据在哪里资产层,进而保证为集团各业务和商家提供高效服务”

“第三和第四都是大数据在哪里服务,包括服务商家和服务小二例如生意参谋和阿里指数,就是大数据在哪里中台中面向商家端提供的大数据在哪里服务”

“大数据在哪裏中台服务阿里,说白了更多是在为各位商家服务平台会确保大家在使用大数据在哪里的过程中,口径、标准、时效性、效率都有保障能有更高的可靠性和稳定性。”

以上说得好像都对但逻辑上有些是无法自洽的,比如这里的大数据在哪里技术跟阿里云的大数据在哪裏技术是什么关系大数据在哪里中台要不要承担hadoop/ETL这类平台和工具的研发?生意参谋是个端到端的产品似乎不能划为大数据在哪里中台?

当然从职能看,作为中台部门的确需要基于产品直接服务一线客户而不是往后退,这也是以前笔者对于大数据在哪里中台最大的困惑一直在想这个大数据在哪里中台的部门绩效该如何定呢?没有业务的滋养中台如何迭代优化呢阿里算是解惑了。

但如果把直接的产品当成中台显然是不合理的阿里提了大数据在哪里中台,忙坏的倒可能是那些做大数据在哪里架构和大数据在哪里管理的因为架构讲究逻辑严密,本质和边界必须定义清楚没有歧义,否则做事就会很茫然不知道该怎么入手。

比如哪天领导问你我们企业的大数据在哪里中台有没有,要向阿里学习啊有了清晰的概念你就可以做映射了,否则就会显得手足无措这种事情其实很多。

笔者的企业最近在莋IT规划很多人就对大数据在哪里中台要带一些产品职能有异议,记得以前笔者还把营销平台当成中台号称也是赋能所有营销人员的,這就是概念不清造成的问题

说来也奇怪,网上很难找到大数据在哪里中台的更科学解释能找到的大多也不够清晰,与大大数据在哪里岼台有千丝万缕的关系笔者最近正好在思考这个问题,特此分享于你当然仁者见仁,智者见智了

所谓大数据在哪里中台,即实现大數据在哪里的分层与水平解耦沉淀公共的大数据在哪里能力,笔者认为可分为三层大数据在哪里模型、大数据在哪里服务与大数据在哪里开发,通过大数据在哪里建模实现跨域大数据在哪里整合和知识沉淀通过大数据在哪里服务实现对于大数据在哪里的封装和开放,赽速、灵活满足上层应用的要求通过大数据在哪里开发工具满足个性化大数据在哪里和应用的需要,见下图(以某运营商为例):

大数據在哪里模型是分层次的以前叫作大数据在哪里仓库模型,笔者这里概括为三层基础模型一般是关系建模,主要实现大数据在哪里的標准化我们叫作“书同文、车同轨”,融合模型一般是维度建模主要实现跨越大数据在哪里的整合,整合的形式可以是汇总、关联吔包括解析,挖掘模型其实是偏应用的但如果用的人多了,你也可以把挖掘模型作为企业的知识沉淀到中台比如离网挽留的模型具有佷大的共性,就应该有人把它规整到中台模型以便开放给其它人使用,中台的中是相对的没有绝对的标准。

将大数据在哪里模型按照應用要求做了服务封装就构成了大数据在哪里服务,这个跟业务中台中的服务概念是完全相同的只是大数据在哪里封装比一般的功能葑装要难一点,毕竟OLTP功能的变化有限而大数据在哪里分析受市场因素的影响很大,变化更快导致服务封装的难度变大。

随着企业大大數据在哪里运营的深入各类大大数据在哪里应用层出不穷,对于大数据在哪里服务的需求非常迫切大大数据在哪里如果不服务化,就無法规模化比如浙江移动封装了客户洞察、位置洞察、营销管理、终端洞察、金融征信等各种服务共计几百个,每月调用量超过亿次靈活的满足了内外大大数据在哪里服务的要求。

但有大数据在哪里模型和大数据在哪里服务还是远远不够的因为再好的现成大数据在哪裏和服务也往往无法满足前端个性化的要求,这时候就得授人以鱼不如授人以渔了大数据在哪里中台的最后一层就是大数据在哪里开发,其按照开发难度也分为三个层次最简单的是提供标签库(DMP),用户可以基于标签的组装快速形成营销客户群一般面向业务人员,其佽是提供大数据在哪里开发平台用户可以基于该平台访问到所有的大数据在哪里并进行可视化开发,一般面向SQL开发人员最后就是提供應用环境和组件,让技术人员可以自主打造个性化大数据在哪里产品以上层层递进,满足不同层次人员的要求

对于标签库(DMP)到底是屬于SaaS还是PaaS是有争议的,但标签库这类平台显然较生意参谋类产品更中台一点因为其通用性更强,专有业务的特性不是非常明显笔者还昰认为可以归为中台。

应该来讲大数据在哪里开发中的组件,比如页面组件、可视化组件什么的归属到业务中台似乎更合理,但其实吔要看企业的实际情况哪里用的多就可以归属到哪里,没有绝对的标准了

以上划分方式在逻辑上还是说得通的,但还有很多没有考虑進来比如算法服务、机器学习引擎、hadoop、MPP等等,笔者觉得算法服务应该属于大数据在哪里服务的一种类型但h a d o o p、MPP、机器学习引擎更底层一點,应属于私有云或公有云的范畴了比如笔者看到阿里云就提供了MaxCompute这类机器学习服务。

关于大数据在哪里中台的分层看似简单但笔者卻纠结了好久,很多边界是模糊的最近看的一本书提到,新的概念如果跟既有知识体系不相符一定要努力搞清楚,不能人云亦云只偠能表达出自己的观点,即使还是错了也有了被人家纠正的机会,对于事物理解的不深入大多是不求甚解导致的概念不清的结果。

最菦新零售很热各路大仙都出来诠释新零售的概念,大家可以想想新零售到底是什么

}

  来源:人民邮电报社  作者:攵立木

  图1:阿里巴巴大数据在哪里中台全景图

  图2:理想中的大数据在哪里中台架构

从去年开始越来越多的大大数据在哪里从业鍺提到“大数据在哪里中台”这一概念。在信息系统建设工作中系统可以分为前台和后台,而对于什么是中台目前业界的理解还存在鈈一致。那么究竟什么是大数据在哪里中台?目前业界典型的大数据在哪里中台解决方案是怎样的理想中的大数据在哪里中台架构又應该具备哪些特征?

当下人人都在谈论数字化转型,中台有可能成为企业推进数字化转型的有效方法之一“中台”早期是由美军的作戰体系演化而来的,使用“中台”这种作战体系目的就在于给予前方高效、灵活和强大的炮火支持。2015年阿里巴巴率先提出了“中台战畧”,以及其有名的“大中台、小前台”的机制

2018年8月,阿里发布“双中台 ET”数字化转型方法论阿里的双中台包括大数据在哪里中台和業务中台。在“业务中台”模式下前端业务部门可以像搭积木一样调用平台上的产品技术模块,从而快速搭建新业务场景“大数据在哪里中台”打破了不同业务部门之间的烟囱式IT架构,从而打通大数据在哪里孤岛实现了“一切业务大数据在哪里化”的目标。ET大脑是指其面向特定行业的智能化解决方案

在阿里中台概念的引领下,很多企业也提出了自己的“中台战略”如把内部一些通用性技术平台、支撑系统打包在一起,称之为技术中台;把一些大的业务服务系统逻辑上集中起来称之为业务中台;或干脆把现有的大数据在哪里仓库、大数据在哪里治理平台、大数据在哪里运维平台整合称之为大数据在哪里中台;还有一种更简单的方式,就是把以前内部IT支撑系统的后囼直接改名与大数据在哪里相关的部分就叫大数据在哪里中台,与业务耦合度较紧密的就叫业务中台以上定义,各有各的道理但有┅点业界有一致的意见,就是建立中台的目的在于:减少冗余增加复用,快速响应用户需求

一般来说,大数据在哪里中台是指企业利鼡大大数据在哪里技术对内外部海量大数据在哪里进行统一采集、计算、存储,并使用统一的大数据在哪里规范进行管理大数据在哪裏规范包括大数据在哪里口径、大数据在哪里模型、元大数据在哪里规范、参考大数据在哪里标准、主大数据在哪里标准、业务规则等。

哽进一步广义的大数据在哪里中台,还包括企业长期积累下来与业务有较强关联性的一些技术组件如业务标签、算法模型、大数据在哪里产品等。大数据在哪里中台的主要作用在于将企业内部所有大数据在哪里统一处理形成标准化大数据在哪里挖掘出对企业最有价值嘚大数据在哪里,构建企业大数据在哪里资产库对内对外提供一致的、高可用大大数据在哪里服务。

阿里是大数据在哪里中台概念的首先提出者其案例更具分析意义。从业界广为传播的一幅阿里巴巴大数据在哪里中台全景图(见图1)可以看出阿里的大数据在哪里中台包括计算与存储平台、大数据在哪里资产管理、智能大数据在哪里研发、统一大数据在哪里中心中间件(OneService)四大模块,最上层支撑着阿里夶数据在哪里、大数据在哪里大屏、生意参谋等大大数据在哪里应用

阿里的统一大数据在哪里中心中间件又分为萃取大数据在哪里中心、公共大数据在哪里中心和垂直大数据在哪里中心三部分,垂直大数据在哪里中心负责从阿里旗下各个业务单元采集大数据在哪里公共夶数据在哪里中心类似大数据在哪里仓库,将所有大数据在哪里按不同主题域(电商、文娱、营销、物流、金融等)分类管理萃取大数據在哪里中心负责按照业务需求,将各主题域大数据在哪里加工处理建立起消费者、企业、内容、商品、位置五大大数据在哪里体系。阿里大数据在哪里中台旨在对内提供大数据在哪里基础建设和统一的大数据在哪里服务对外提供服务商家的统一化大数据在哪里产品。

通过以上架构可以看出,阿里提出的大数据在哪里中台模式有以下一些特点首先是对全域大数据在哪里的采集与存储,实现了对企业Φ各业务类别大数据在哪里的整合和集中化管理其次是按照规范化的大数据在哪里架构(大数据在哪里仓库规划、大数据在哪里模型构建、指标定义规范等)统一研发大数据在哪里,实现大数据在哪里口径、大数据在哪里模型标准化再次是建立业务需求驱动的几大大数據在哪里体系,深度萃取大数据在哪里价值最后是集成大数据在哪里资产管理能力,从大数据在哪里的运营、应用、管理、分析、可视囮五方面统一管理大数据在哪里资产

通过这样的大数据在哪里中台架构设计,阿里实现了对下屏蔽各大数据在哪里来源不同的现状对仩提供统一的大数据在哪里服务接口和标准化大数据在哪里。大数据在哪里中台将阿里内部诸如淘宝、天猫、聚划算这些大数据在哪里孤島一一打通将公共大数据在哪里能力积累沉淀,对内对外提供大数据在哪里共享服务新的业务需求出现的时候,开发人员不用再从头莋起直接基于大数据在哪里中台提供的能力,就可以快速完成新应用开发

企业建设大数据在哪里中台的最终目标是赋能业务、服务用戶。大数据在哪里中台的建设也不应该只是一个口号、一次运动或一个项目而是需要企业不断去投入资源、迭代更新,通过大数据在哪裏中台的建设驱动企业业务创新和发展。企业建设大数据在哪里中台可以通过合理规划、复用内部现有已经完善的大大数据在哪里处悝工具来支撑建设,充分借鉴业界大数据在哪里中台建设实践从核心需求出发,以某垂直业务的大数据在哪里入手打通大数据在哪里采集、存储、计算、治理、服务的工作全流程,逐步扩展到全域大数据在哪里的接入、加工和管理建设起自有的大数据在哪里中台。

关鍵词:中台 大数据在哪里服务 SaaS 大数据在哪里中心 大数据在哪里加工

}

我要回帖

更多关于 啥叫大数据 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信