实时财经快讯 - FastBull ( ) • 2021-11-30 19:36
#articleCont { font-size: 16px; line-height: 1.6; color: #333; word-wrap: break-word; } #articleCont :first-child { margin-top: 0 !important; } #articleCont h1, #articleCont h2, #articleCont h3, #articleCont h4, #articleCont h5, #articleCont h6 { margin: 40px 0 20px; } #articleCont h1 { font-size: 24px; } #articleCont h2 { font-size: 22px; } #articleCont h3 { font-size: 20px; } #articleCont h4 { font-size: 18px; } #articleCont h5 { font-size: 16px; } #articleCont i { font-style: italic; } #articleCont p, #articleCont div { word-wrap: break-word; margin: 14px 0; text-align: justify; } #articleCont blockquote { border-left: 6px solid #ddd; padding: 5px 0 5px 10px; } #articleCont blockquote p:last-child { margin-bottom: 0; } #articleCont .simditor-body blockquote :last-child { margin-bottom: 0; } #articleCont a { color: #82b64a; } #articleCont a:visited { color: #82b64a; } #articleCont a:hover { color: #74a342; } #articleCont img { max-width: 100%; height: auto; } #articleCont hr { margin: 19px 0; border: none; border-top: solid 1px #ddd; } #articleCont ol { list-style-type: decimal; } #articleCont ol li { list-style-type: decimal; } #articleCont ul { list-style-type: disc; padding-left: 40px; } #articleCont ul li { list-style-type: disc; } #articleCont table { width: 100%; font-size: 12px; border-collapse: collapse; line-height: 1.7; } #articleCont table thead { background: #f9f9f9; } #articleCont table th, #articleCont table td { border: solid 1px #ccc; text-align: left; vertical-align: top; padding: 2px 4px; height: 30px; min-width: 40px; box-sizing: border-box; } #articleCont pre { white-space: pre-wrap; }

2021年还有不到1个月就要说再见了,除了感叹时光匆匆外,马上又要到季度总结、年度总结、年度规划的时候了。最近又集中地把各家公司的数据中台产品架构分析了一遍,试图除了在已有产品的迭代和打磨之余,找到一些新的启发点。看了一圈,发现大同小异。总结下来,数据中台产品最核心的也就是这几件套。

一、各大厂数据中台产品架构合集

1.阿里巴巴数据中台

阿里现在已经把阿里云上大数据相关的产品进行了抽象和打包,成为“阿里数据中台”独立的产品,广告投放的slogan“数据中台理念提出者”。结合今年云栖大会数据中台负责人的分享,阿里数据中台的核心思想是场景化驱动,“数据因场景而美好”,从应用场景出发,提炼出几款最核心的数据产品,组装成为数据中台。通用的主要是四大件:

  • QuickAudience:阿里商业化的CDP平台,包括数据对接、模型配置、用户圈选与分群,渠道连接等功能,对用户的触达和营销策略的沉淀,提升用户运营的效率,让营销更简单,更高效。

  • QuickBI:自助BI和数据可视化分析平台

  • QuickTracking:用户行为数据采集和洞察分析

  • Dataphin:数据仓库规范化、系统化建模工具

最底层的数据存储及计算主要是Ma7compute以及Dataworks那些。

e8d53b729d724fa7353953b283a6295e-picture

图片来源:阿里数据中台

2.网易数帆

听过网易郭忆老师的数据中台实战课,网易数据中台产品体系确实是在实践中一点点搭建和完善起来的,各个产品切实解决了数据化运营过程的各个问题。网易数帆的产品架构重点突出数据加工和资产治理模块,将开发套件、数据标准体系建设、数据治理平台归为数据中台,把智能分析、标签系统、用户画像等数据应用产品归属到了业务前台。

0a3860d1fb9b97eb5aa4c26fea167324-picture

3.元年科技

元年科技作为数据中台垂直领域的解决方案提供商,数据中台产品矩阵主要包括:数据服务、标签体系、指标体系、多决策建模、数据资产及数据开发等。

a363c4cba99599b54ee55ece81bf60b2-picture

图片来源:元年科技官网

4.奇点云

奇点云的产品架构有点看不懂,看着像是把各个产品的罗列,没有层级的概念。例如分为平台产品(开发平台、资产治理平台)、应用产品(用户运营、智能应用)、分析产品(可视化分析、自助分析),分析类数据产品,不也属于数据应用么?

173676750bc1464ae0b131352ac77b91-picture

图片来源:奇点云官网

5.苏宁

苏宁的中台架构来源网络文章分享,主要架构分为四大层级,最底层是集群资源层,其次是数据开发和资产管理层,数据应用引擎层主要是可视化引擎、分析引擎以及画像引擎,最上层的数据应用层,包括报表、可视化大屏、精准营销以及个性化推荐等。

523498f0a504f7d5e057c1b0497b4e46-picture

来源:CIO之家

二、数据中台产品核心7件套

非常认可“数据因场景而美丽”这句话,数据的价值主要包括:数据驱动决策以及数据赋能智能应用(产品智能、运营智能)。结合各家公司的中台架构,以及这几年的数据中台实践,个人认为,数据中台产品架构最核心的产品可以分为以下7个核心部分:

1.自助BI及可视化分析

人人都是数据分析,人人都可数据可视化。通过低代码、配置化的方式,让用户基于数据资产进行拖拉拽的可视化分析,业务取数不再依赖数据团队,可视化看板、大屏直接配置生成,前端开发、接口开发都省了。

2.客户数据管理平台(CDP)

精细化运营的核心是对用户的分层运营,CDP汇聚用户数据构建标签资产,通过灵活的标签圈选能力构建目标人群进行运营触达,或人群API服务化输出。提升精细化运营效率。产品详细实践过程参考之前:CDP赋能精细化运营文章

3.Adhoc查询

数据分析、数据开发人员自由的探索式SQL取数工具,提供基于数据资产进行取数分析的能力,用户仅关注SQL逻辑,不需要关注集群资源、环境。与自助BI拖拽分析相互补充

4.机器学习平台

大数据的出口是AI,个性化推荐服务、用户画像算法标签生产都涉及到机器学习能力的建设,有了算法平台,可以更快的输出相应的算法服务,扩大算法类标签或服务接口的比例

5.数据资产地图

酒香也怕巷子深,很多时候业务是不知道数据在哪里,也就没办法去SQL取数或者拖拽分析,数据地图顾名思义,引导用户可以更快速的找到目标数据。因此需要丰富的元数据、数据描述、逻辑描述、数据搜索等能力。

6.数据治理

之前一篇文章讲过,数据质量是数据产品的生命线,不管是决策还是业务应用,数据出错了影响可能是致命的。需要基于数据质量监控产品提前发现问题,早发现早干预早恢复。除此之外,数据成本优化,生命周期管理,冷数据下线也都属于治理的范畴。

7.数据开发平台

数据开发平台可以说是最早践行低代码的数据产品之一,将集群资源、任务调度依赖、运维流程全部通过IDE界面化配置的方式实现,ETL开发人员主要聚焦于业务逻辑的实现。数据开发平台的主要功能模块(产品子类)包括:

  • 数据集成:将异构数据源统一汇聚到数仓,在将数据搬运到应用端数据库

  • 实时开发:流式数据加工处理

  • 离线开发:离线数据加工处理,随着大数据组件技术的发展,一些公司也开始在做基于Flink的批流一体化开发平台。

  • 智能运维:任务异常报警监控、一键重跑及通知等功能。

43462984540865fa16092a25a5c47157-picture

三、总结

不管是最底层的让数据加工更高效的开发工具,还是让数据输出更快捷的上层应用端产品,围绕让数据“更快、更省”地用起来的相关数据产品,都属于数据中台的产品范畴。数据中台产品架构相对通用和稳定,在一些流程贯通、数据应用更高效极致方面,可以有所侧重。在做数据中台产品规划时,可以从主体框架开始,再逐步丰富和衍生。

微 信 公 众 号:数据干饭人