没有合适的资源?快使用搜索试试~ 我知道了~
最新版一文读懂数据中台架构建设体系图文详解(建议收藏).pdf
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 197 浏览量
2023-04-10
19:09:20
上传
评论
收藏 3.51MB PDF 举报
温馨提示
试读
29页
。
资源推荐
资源详情
资源评论
最新版一文读懂数据中台架构建设体系
图文分析(建议收藏)
当前,大部分企业不再建设从源数据采集到分析应用的烟
囱式系统,更倾向于数据集中采集、存储,并应用分层建设。
这种方式一方面有利于应用系统的快速部署,另一方面也保证
了数据的集中管理与运营,体现数据的资产、资源属性。
数据中台的出现弥补了数据开发和应用开发之间由于开发
速度不匹配而出现的响应力不足等缺陷问题。
数据中台是国内学者提出的概念,起始于阿里的“大中
台、小前台”概念。阿里的中台是从管理的角度出发,以中台
事业部集中数据搜索,技术及产品,数据共享等多个部门的功
能。其他组织或企业建设数据中台不一定需要成立中台事业
部,但是数据集中治理与提升数据价值转换效率的思路是一致
的。
— 01 —
数据中台通用体系架构
不同的企业对数据有不同的需求。企业数据应用不断更新
迭代,企业的中台系统也需要不断变化。
从数据处理与数据治理两个维度出发,可以设计一个解耦
的数据中台体系架构。该数据中台体系架构具有一定的柔性,
1
可按照企业应用需求进行组合,或者对单个模块进行扩充,能
满足大多数企业数据中台建设的需求。
数据中台体系架构示例
数据中台的通用体系架构如图 2 所示。该中台体系架构
以减少功能冗余和提高功能复用为原则,把数据中台解耦为 6
个可以分别独立建设、演进的功能子系统。
2
数据结构与数据处理子系统是数据中台体系架构的核心,
数据治理是提升数据价值的重要手段。该数据中台体系架构的
通用性表现在以下几点。
该数据中台体系架构综合考虑了数据中台的各种要
素,参考这个架构进行建设可以有效提升数据资产价值,提供
数据及服务的共享。
参考这个数据中台体系架构,企业可以一次规划、分
步实施。首先建设处理子系统及数据存储子系统,然后根据业
务发展需求,逐步补充数据采集、数据安全及数据治理子系
统。
该数据中台由 6 个解耦的子系统组成。企业在立项
建设时可以灵活组合,每个子系统单独招标建设,也可以把多
个子系统合并招标建设。数据中台通用体系架构包含数据存储
框架、数据采集框架、数据处理框架、数据治理框架、数据安
全框架及数据运营框架等 6 大部分。
1、数据存储框架
数据中台的核心是数据,数据通过采集系统获取,然后数
据经过处理框架加工,并接受数据治理框架的管理,同时也要
接受数据安全管理框架的管理,最后开放的价值数据将通过数
据运营框架对外提供数据服务。
数据中台的数据架构应该独立规划,并采用合理的技术架
构对不同类型的数据进行存储。
3
数据存储框架中,无论数据采用对象存储、块存储还是数
据库存储技术,各种中台数据可按照上图所示分类管理。
源数据主要由采集框架进行管理,数据治理框架按照数据
特征把数据简单分为结构化和非结构化数据两大类,而规范化
分域数据则是数据治理框架对全量数据的规范化分域整理。宽
表数据是数据关联的结果,利用宽表数据可以对人、事、地、
物、组等对象进行完整的数据画像,同时宽表数据也可以作为
上层模型数据的中间层数据。
元数据和标签数据都是对数据的描述,其中元数据用来对
数据的客观属性进行表示,标签数据更倾向于管理者对数据的
主观表述及等级划分,比如质量等级标签、安全标签、属性标
签等。主数据需要在各系统间频繁更新、交换,且需要独立的
存储空间进行维护管理。
2、数据采集框架
数据中台的采集框架应对纳入数据中台的各种源数据进行
统一采集管理。数据采集框架中应提供多种数据采集方式,如
文件传输协议采集、数据库采集、接口应用程序接入采集、流
式采集及网络爬虫采集。
同时采集框架应按照数据采集规范对源数据进行预处理,
从而去除明显不需要的数据及多余数据,并对采集过程进行管
4
理。虽然数据中台的体系架构没有统一模板,但各企业数据采
集框架基本一致。
3、数据处理框架
数据处理是每个数据应用的基本环节之一,经典的数据抽
取、转换和加载( ETL )处理流程在数据采集预处理、数据整
合、数据建模等多个地方均要使用。单独建设数据处理框架有
利于数据处理工具组件的集中开发与管理,也有利于数据中台
数据处理任务的协调与调度。
数据处理框架专门负责数据处理相关的任务,包括批处
理、流处理、人工智能分析、数据清洗、数据交换及查询,此
外数据处理的相关工具组件可在处理框架中配置。任务调度模
块在数据处理框架中处于居中指挥的作用,并对运行的数据处
理任务进行监控及异常处理等操作。
4、数据治理框架
广义的数据治理不仅包含提升数据价值的内容,如数据管
理、数据目录、数据质量等,也包含数据安全管理及数据共享
服务。
数据安全管理与数据价值提升是一个矛盾体,如果由一个
厂商或开发团队进行数据安全管理及数据价值提升相关软件的
5
剩余28页未读,继续阅读
资源评论
คิดถึง643
- 粉丝: 3880
- 资源: 1万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功