天津金融资产交易所

400-176-1818

客服热线(9:00-18:00)

专业的声音|构建数据中台 支持运营服务(下)

发布日期:2020年07月23日 点击:

专业的声音.jpg

本文作者:天津金融资产交易所 李鸿菲

三、数据中台能力

1. 数据资产管理

盘点数据资源、规划数据资源、获取数据资源,并将所有数据资源进行完整呈现;通过元数据信息收集、数据血缘探查、数据权限申请授权等手段,解决"有哪些数据可用"、"到哪里可以找到数据"的难题,并且提升数据资源的利用率。

2. 数据质量管理

数据质量就是保障数据正确性的工具,主要包括这么几部分:一是支持准确性校验规则,二是支持双表校验,三是输出校验报告。

3. 数据模型管理 

数据模型管理,主要是为解决架构设计和数据开发的不一致性,是为了约束平台使用者的表名、字段名的规范性,架构师从工具层合理的进行模型分层和统一开发规范,包括2部分,一个是规则配置,另一个是对表名、字段名的定期校验。

4. 构建标签体系

对用户、产品、客商、营销各主题域进行标签提取,将其特征数字化,为后续进行精准 营销和用户画像提供必要条件。着重分析当前需要但是无法获取到的指标,描述使用不便的指标,分析问题原因,绘制数据供应链条;

5. 数据应用规划及实现

数据中台策略的基本理念是,将所有的数据汇聚到数据中台,以后的每个数据应用(无论是指标和分析类的,还是画像类和大数据类的)统统从数据中台获取数据,如果数据中台没有,那么数据中台就负责把数据找来,如果数据中台找不来,就说明当前真没有这个数据,数据应用也就无从展开。

四、数据中台构成

数据中台的目标是让数据持续用起来,通过数据中台提供的工具、方法和运行机制,把数据变为一种服务能力,让数据更方便地被业务所使用。下图所示为数据中台总体架构图,数据中台是在底层存储计算平台与上层的数据应用之间的一整套体系。数据中台屏蔽掉底层存储平台的计算技术复杂性,降低对技术人才的需求,让数据的使用成本更低。通过数据中台的数据汇聚、数据开发模块建立企业数据资产。通过资产管理与治理、数据服务把数据资产变为数据服务能力,服务于企业业务。数据安全体系、数据运营体系保障数据中台可以长期健康、持续运转。

1. 数据汇聚

数据汇聚是数据中台数据接入的入口。数据中台本身几乎不产生数据,所有数据来自于业务系统、日志、文件、网络等,这些数据分散在不同的网络环境和存储平台中,难以利用,很难产生业务价值。数据汇聚是数据中台必须提供的核心工具,把各种异构网络、异构数据源的数据能够方便地采集到数据中台进行集中存储,为后续的加工建模做准备。数据汇聚方式一般有数据库同步、埋点、网络爬虫、消息队列等;从汇聚的时效性来分,有离线批量汇聚和实时采集。

2. 数据开发

通过数据汇聚模块汇聚到中台的数据,没有经过什么处理,基本是按照数据的原始状态堆砌在一起的,这样业务还是很难使用。数据开发是一整套数据加工以及加工过程管控的工具,有经验的数据开发、算法建模人员利用数据加工模块提供的功能,可以快速把数据加工成对业务有价值的形式,提供给业务使用。数据开发模块主要是面向开发、分析人员,提供离线、实时、算法开发工具以及任务的管理、代码发布、运维、监控、告警等一些列集成工具,方便使用,提升效率。

3. 数据资产体系

有了数据汇聚、数据开发模块,中台已经具备传统数仓平台的基本能力,可以做数据的汇聚以及各种数据开发,就可以建立企业的数据资产体系。之前说数据资产体系是中台的血肉,开发、管理、使用的都是数据。大数据时代,数据量大,增长快,业务对数据的依赖也会越来越高,必须考虑数据的一致性和可复用性,垂直烟囱式的数据和数据服务的建设方式注定不能长久存在。不同的企业因业务不同导致数据不同,数据建设的内容也是不同的,但是建设方法可以相似,数据要统一建设,笔者建议数据按照贴源数据、统一数仓、标签数据、应用数据的标准统一建设。

4. 数据资产管理

通过数据资产体系建立起来的数据资产还是一套偏技术的数据体系,业务人员比较难理解。资产管理是以企业全员更好理解的方式,把企业的数据资产展现给企业全员(当然要考虑权限和安全管控),数据资产管理包括对数据资产目录、元数据、数据质量、数据血缘、数据生命周期等进行管理和展示,以一种更直观的方式展现企业的数据资产,提升企业的数据意识。

5. 数据服务体系

前面利用数据汇聚、数据开发建设企业数据资产,利用数据管理展现企业的数据资产,但是并没有发挥数据的价值。数据服务体系就是把数据变为一种服务能力,通过数据服务让数据参与到业务,激活整个数据中台,数据服务体系是数据中台存在的价值所在。企业的数据服务是千变万化的,中台产品可以带有一些标准服务,但是很难满足企业的服务诉求,大部分服务还是需要通过中台的能力快速定制。数据中台的服务模块并没有自带很多服务,而是提供快速的服务生成能力以及服务的管控、鉴权、计量等功能。

6. 运营体系和安全体系

通过前面的数据汇聚、数据开发、数据资产、资产管理、数据服务,已经完成了整个数据中台的搭建和建设,也已经在业务中发挥一定的价值。运营体系和安全体系是数据中台得以健康、持续运转的基础,如果没有它们,数据中台很可能像个一般项目一样,一期搭建起平台、建设部分数据、尝试一两个应用场景之后而止步,无法正常地持续运营,不能持续发挥数据应用价值。这也就完全达不到建设数据中台的目标。 

五、如何搭建适合自己的数据中台

为什么要说是“最适合”自己的数据中台呢?

数据中台无论是功能、逻辑都是非常的复杂,其中涉及到的字段、维度非常的多,那如何打造最适合自己的数据中台呢?可以这样去思考:

1. 先分析需要什么数据

首先必须根据自身业务出发,去分析到底我们需要什么数据?下面是例子:

(1)电商业务

电商,离不开订单、商品、支付等等这些数据,就订单数而言,就可以拆分这几个维度进行统计:分/时/日/周/月订单数、人均订单数、男性/女性用户订单数、服装/数码产品订单数、复购订单人数、订单销售额 、订单成交率、订单退换率等等;

如果是商品,又会涉及到商品种类成交数、商品点击率、商品评价数等等;

如果是支付,则会涉及到支付成功/失败率,支付次数、支付渠道、支付优惠使用率等等。

(2)直播业务

谈到直播业务,核心角色可分为主播和用户,整个直播平台就是围绕着这两大核心角色进行设计的。

简单的说,直播就是主播和用户进行信息交换的一个过程,主播提供内容,用户消费内容,反馈信息(发送弹幕,赠送礼物等等,当然用户也可以不做任何操作,但也为主播提供了人气和观众数);

可以分析整个直播流程就是:主播打开直播间——用户收到推荐/订阅提醒/搜索/首页推荐等等方式进入了直播间——主播与用户进行信息交换、互动——用户退出直播间/主播下播——直播流程结束。

那么从这一简单的流程中,我们就可以挖掘出许多的数据指标,例如:开播1分钟/小时观众数、消息推送/订阅/首页推荐点击率、搜索次数、弹幕发送次数/率、送礼种类/数量、观看直播1/5/10…分钟的用户数、各种留存率等等,由于数据指标过多,暂先列出以上数据。

(3)出行业务

出行业务,我们也是根据业务流程去分析:用户提交订单——司机接单——用户上车,司机确认,订单开始——到达目的地,司机确认,用户下车——用户支付(自行决定是否评价)——订单流程结束。

根据流程,我们可以继续挖掘数据指标,例如:某区域内1小时内订单发起数、司机一天接单数、平均订单金额、订单取消数/率、订单公里数、某区域订单平均响应时间、订单好评/差评率等等。

因此要分析需要什么数据,必须切实地从自身业务的流程一步步去拆解出各个指标数据。

2. 如何落地中台开发

(1)明确需求

当明确自身需要什么数据后,此时可以与业务、运营人员进行沟通,他们需要什么样的数据,需要怎样组合数据,呈现方式是什么,是否支持导出数据等等,都需要产品经理与业务方进行详细地沟通,明确每一个需求,才能算是前期工作准备的良好开头。

(2)原型设计

当明确需求后,就可以开始进行原型设计了,这里就涉及到了设计的细节:如何让数据可视化更清晰?如何让操作更加简便,业务人员更容易上手?

因此在设计的过程中,除了跟开发保持沟通,同时还需要跟业务人员保持一定的联系,防止原型设计好,业务人员不满意又要大改。

(3)需求评估,跟进开发进度

当设计好原型和撰写好需求文档后,就可以进行需求评估了,这个阶段如果出现难以实现的功能,那产品和开发就要共同去想如何换另一种设计方式去解决同样的问题;

然后还有就是进行需求排期,大概确定每一个时间节点,产品经理时刻跟进开发进度。

(4)开发完成,严格测试

可能大家会想,中台又不是给C端用户用,测试那么严格没必要;但正是因为中台不是给用,而是给业务人员用,如果出现了数据上的严重纰漏,影响了运营的决策,那么带来的业务影响也是非常严重的,因此严格的测试必不可缺。

(5)成功上线,时刻跟进问题

测试结束后,终于可以上线了,然而重头戏才刚刚开始,此时会发现,业务方使用了中台后向你提出各种各样之前测试测不出来的bug,此外,还会吐槽功能的各种不好用,甚至给你提另外的需求……

作为中台产品经理的你,此时可能会感觉压力非常的大,但只要我们时刻保持跟进,合理安排项目进度,解决需求,我想,业务同学也不会刻意去为难你。 

结语

数据时代带来的挑战不仅仅是数据量的爆发式增长,更重要是如何管理好、治理好、利用好这些数据,显然传统的大数据建设方法论无法满足需求。

如果把大数据建设工作比如盖高楼的话,那么大数据平台开发和管理工具(数栈)就是打桩机、挖土机、推土机、塔吊...,过程中严苛、繁琐、体系的开发、治理、分析建设方法论(数据中台)就是楼层规划、户型设计、房屋建造....,数据服务就是业主个性化的装修。

公司股东