不知不觉,数据中台已经来到了七年之痒。
回顾那些年,由阿里于2015年率先提出“大中台、小前台”战略,掀起了一场数据中台的“大跃进”。
随后,2016 华为发布“平台炮火支撑精兵作战”的改革、2019 字节跳动搭建直播大中台、腾讯开放中台能力...以及百度、字节跳动、滴滴出行等互联网大厂都纷纷推出自己的中台项目。
一时间,数据中台风光无二,言必称数据中台,很多企业把数据中台当做是加速数字化转型的关键因素之一。
一、数据中台的成长曲线
大约5年后,数据中台遭遇口碑滑铁卢。一直到今天,关于数据中台的争论似乎一直没停止过。其中,不少声音是对数据中台价值的质疑。
正值2020年,Gartner发布的中国ICT技术成熟度曲线图中就提到了数据中台成长曲线。可以看到,这个新技术即将到达一个峰值,然后就会急转直下。
图1:Gartner2020年中国ICT技术成熟度曲线图
当初,数据中台提出的初衷是为了支撑业务快速迭代创新能力,而创新业务本身需要不断试错,任何新事物成熟之前都必须接受市场的检验,存在一些起伏也算是正常现象。
在大众的质疑声音中,大家最为关注的还是对数据中台如何落地的困惑。大家最担心的是一通忙活,最后被认为神通广大的数据中台用不起来。”所以,如何设计可落地的中台架构成为很多IT负责人的最大挑战。
为了满足企业对数据中台的市场需求,很多如阿里、华为等大厂开始构建数据中台产品。这一市场迅速吸引来了资本市场的关注,进而跟进一大批数据中台创业公司。
但是,对于数据中台的架构,Gartnert持不同意见,认为中台架构应该通过构建场景应用,使用产品管理方式慢慢演进出来的,而不是部署另外一个大而全的中台系统。
Gartner为什么会有这样的观点呢?
二、没有数据中台只有API
如果跟老外提及Data Middle Platform(数据中台)一定会令对方很尴尬,因为国际市场上是没有数据中台这个概念的。于是,Gartner通过另外一个新概念MASA(网格应用程序和服务架构),打通国际与国内中台理念连接的桥梁。
Gartner把MASA框架分为三层:最上层是用户层,多样性用户体验(multi experience);最下层是企业内部的应用系统,多维度的服务层面,即后台系统;中间是API解析层,连接前端和后端。
图2:Gartner主推的MASA架构
很显然,MASA框架里并没有中台的存在,中间API解析层是一个连接层或转换层。具体来说就是,把企业最底层的ERP、CRM 和其他应用数据或业务逻辑抽取出来,归集到一个统一的地方,这样当支持前台的客户服务时就会比较顺畅或者反应速度大幅提高。
同时,由于 MASA 很大程度上是由业务驱动,必须根据最终用户的需求再做决定,因此在API管理上,Gartner建议设立一些产品管理机制把零散分布的大量API进行有效管理。这个理念与麦聪软件不谋而合。
麦聪软件通过核心麦聪DaaS平台快速灵活地开发及管理数据API,打通实时连接前台和后台的数据通道,为企业搭建一个自助式开放型的数据中台,帮助企业高效实现数据资产化和数据服务化。
三、看清下一代数据中台的技术趋势
笔者浏览了Gartner从2019年至2022年连续4年的数据和分析技术趋势。透过Gartner的预测,我们可以看清下一代数据中台是什么样子。
1、2019十大数据和分析技术趋势之增强型数据管理在Gartner发布的《2019年十大数据和分析技术趋势》中,笔者注意到其中两个趋势:增强型数据管理和数据结构。
其中,增强型数据管理是利用机器学习功能和人工智能引擎来生成企业信息管理类别,可以自动执行许多手动任务,将元数据从被动走向主动,便于不太精通技术的用户能够更加自主地使用数据,同时也让高技能的技术人员专注于价值更高的任务。而2000年首次提出的数据结构(Data Fabric),2019年开始入选Gartner技术趋势。
到2022年,定制式数据结构设计将主要用作静态基础架构,促使各企业机构为全新设计的数据结构投入资金,进而实现更具动态的数据网格(data mesh)方法。
2、2020年十大数据与分析技术趋势之增强型数据管理增强型数据管理,在Gartner发布的《2020十大数据和分析技术趋势》中再次重提,足可见其重要性。Gartner认为,增强型数据管理促进了元数据角色的转变,从协助数据审计、沿袭和汇报转为支持动态系统。而增强型数据管理产品,能够审查大量的运营数据样本,包括实际查询、性能数据和方案。利用现有的使用情况和工作负载数据,增强型引擎能够对运营进行调整,并优化配置、安全性和性能。
3、2021年十大数据与分析趋势之增强型数据消费者增强型数据消费者,这是Gartner在《2021十大数据和分析技术趋势》中提出一个趋势。Gartner认为,以前预定义仪表盘和手动的数据探索将逐渐消亡,转而取代是实时的洞见和查询需求。仪表盘未来将被自动化、对话式、移动式和动态生成的洞见所取代,而且这些洞见都是根据用户需求定制并被交付至用户需要消费数据的时候,从而使企业的任何人都能获得原来只有少数数据专家才能掌握的洞见和知识。这一趋势将对系统实时性和稳定性提出更高的要求。
4、2022十二大数据与分析技术趋势的3个趋势提升数据管理能力、元数据驱动的数据编制和坚持分享开放的数据,是Gartner在《2022年十二大数据与分析趋势》中提到3个趋势。
笔者发现,“数据管理”这一关键词被Gartner连续3年提及。Gartner认为,以数据为核心的AI是一项复杂的系统工程,包括数据管理的技术和技能,数据质量、数据集成、数据治理等基础能力。
对于企业而言,当基于某个项目的AI模型被开发出来后,数据管理活动并没结束,它会像动态数据管道一样持续支持AI模型的开发,提升企业对于AI模型的洞察。当人们提及公共数据共享的时候总顾及数据安全问题。但是,对于企业而言内部数据共享的风险就会小很多。共享数据不仅能够挖掘内部数字化的潜能,更是顺应外界变化的核心引擎。
企业将会更多考虑用数据资产化、数据目录、数据字典、数据地图等方式,在可被治理的方式下分享数据。同时,Gartner也是第2年提到元数据。过去企业对于元数据是比较被动的,只有当企业遇到一些数据质量问题时,需要数据治理,才会对元数据进行广范围开发。实际上,企业可以通过元数据解决企业“数据利用率低”的问题。通过将实际问题中的决策标的、约束、偏好以及目标转化为数学模型,企业可以更好地利用数据编织的手段,实现对于元数据的主动管理。
综上,通过解读Gartner连续4年的数据分析技术趋势的预测,我们可以看清下一代数据中台的技术趋势,可以进一步帮助企业数据中台选型前擦亮眼睛,选择那些适应未来发展的数据中台。
好文章,需要你的鼓励
OpenAI宣布ChatGPT新增重磅功能——聊天记录搜索。用户可以快速一键搜索自己的聊天记录,或者从中断的地方继续聊天了。无论你开了
英伟达成长为市值3.43万亿美元的公司的过程,并分享了他对企业失败的持续恐惧。他表达了对人工智能引领新工业革命的坚定信念,强
今年的汉诺威工业博览会就是一个很好的例子:我们看到了元宇宙如何彻底改变我们组织工业流程、使数据可访问和促进协作的方式。具
数据中心作为“碳达峰与碳中和”重大战略决策背景下的重要载体,其绿色化发展成为“零碳”建设的重要举措,如何在运营中实施节能