数据中台

前言

今年数据中台的概念反复被人提起,最近花时间思考整理分享一些我个人对数据中台的理解。

数据中台与统一数据平台的根本区别

数据统一平台(大数据)

avatar

如上图所示:大数据平台是从各个系统把数据抽取到一个数据统一平台,数据的收集方式大部分是 T+1 的方式,每天晚上进行数据采集,数据采集到平台里面后会做一些分析汇总整理然后做成一个数据集(数据集根据自身业务来可以是:客户数据,销售数据,产品数据等),数据的交付方式以下载,导出,报表等。目前来看百分之80~90%的平台都是在做这样的数据,也就是数据统一。

这样可以快速交付一些数据,但也存在一些问题:

  1. T+1 的方式数据是滞后的;
  2. 数据交付方式台粗放,是以数据集方式交付的;
  3. 响应速度太慢,因为这种形式数据都是采用离线计算,并不是实时的交付方式;
数据中台的定义:数据统一平台 + 数据及服务能力

avatar

如上图所示:数据的收集方式是以 T+0 的方式进行收集,也就是数据及时,数据的交付形式是以API的形式,而不是以数据集的形式进行交付,API的形式有很多种,最常见的就是RestAPI,新的有GraphQL,也就是交付及时,秒级响应不需要等待。这种方式带来的变化就是,支撑的场景不再是数据分析,数据交付,数据报表,他可以做 CMS,BPM,CRM,CIM,SCM等,不管是针对企业内部用户还是针对企业客户的操作性系统,具体场景可以是:UGC社区,客户360,统一订单,销售实况等,这些都一些交互非常强操作性非常强的操作业务,不是分析业务,与分析业务的最大区别也就是这些是非常核心的系统。换个角度思考一下,我们知道oracle数据库是一个操作型数据库,看下他的市值和排名(最新db排行榜:https://db-engines.com/en/ranking )与分析型数据库的市值就知道了,操作型场景与分析型场景对企业的价值所在。这种操作类型的数据中台是实际提高自己竞争力的操作型场景,也就是和之前大数据分析平台不一样的所在。

数据中台 ~= DaaS:云化历程中的一个自然阶段

avatar

DaaS:数据也云化,你只需要关注业务。简单点说你可以尽可能的去做业务抽象,可以抽象出各种业务来快速开发试错。

对于大型企业而言,数据中台不是产品,是通过设立一个专门的企业组织机构,使用一系列的数据技术,来实现一个统一数据服务的形式。设计中台化战略和打通部门墙很困难,你需要专家团队(各个业务线,子公司之间的数据和难实现共享,着也许不是技术问题,反而是组织架构问题)。

从技术角度:数据中台的核心能力

avatar

  1. 首先要具备数据的汇聚能力,也就是ETL;
  2. 数据拿到之后要进行抽象建模,数据平台不能把数据模型跟原有业务模型一致,不然就会变成一个大杂烩,需要进行加工处理;
  3. 存储方面,首先你的数据是企业全域的,你得考虑海量数据,支持足够的可扩展性,支持多模数据(不仅仅是系统,有些数据可能来自于Excel,JSON,数据模型等),平台是是面向业务的更甚至是直接面向APP,所以必须要提供毫秒级的响应能力;
  4. API的服务能力,支持多种类型API;

总结

数据中台是一个包含企业实时全域数据的,主要面向操作型业务应用为主的数据服务技术平台。每个企业的数据中台要结合自己的实际情况来具体分析,他一定是企业数字化的基础服务,是可以提高企业竞争力的操作型场景。

----本文结束 感谢您的阅读----