基于Apache Doris的数据中台建设思路规划
172 浏览量
2024-03-06
11:18:42
上传
评论
收藏 6.67MB PDF 举报
基于Apache Doris的数据中台建设思路及规
划
1.概述
1.1 什么是数据中台
数据是从业务系统产生的，而业务系统也需要数据分析的结果，那么是否可以把业务系统的数据存
储和计算能力抽离，由单独的数据处理平台提供存储和计算能力？这样不仅可以简化业务系统的复杂
性，还可以让各个系统采用更合适的技术，专注做本身擅长的事。这个专用的数据处理平台即数据中
台。
数据中台是一个用技术连接大数据计算存储能力，用业务连接数据应用场景能力的平台。
“连接能力”是数据中台的精髓。作为一个处在中间层的能力平台，“连接”是其根本任务。在业务层面
需要尽可能连接各种数据源作为其生产资料；同时，由于生产数据的场景越来越多，覆盖了线上线下等
多渠道，各数据生产资料之间也需要进行连接，才能形成全域的数据；数据在数据中台这个平台上按照
标准的模型进行规范加工处理后需要服务于多种场景，同样需要我们提供标准的数据服务接口将数据与
应用场景连接起来。因此，连接是数据中台的根本能力，也是数据中台的价值所在。
数据中台通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。
数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高
效服务。这些服务跟企业的业务有较强关联性，是这个企业独有且能复用的
1.2 数据中台解决什么问题
1、效率问题：为什么应用开发增加一个报表，就要十几天时间？为什么不能实时获得用户推荐清单？当
业务人员对数据产生一点疑问的时候，需要花费很长的时间，结果发现是数据源的数据变了，最终影响
上线时间。
2、协作问题：当业务应用开发的时候，虽然和别的项目需求大致差不多，但因为是别的项目组维护的，
所以数据还是要自己再开发一遍。
3、能力问题：数据的处理和维护是一个相对独立的技术，需要相当专业的人来完成，但是很多时候，我
们有一大把的应用开发人员，而数据开发人员很少。
1.3 数据中台和数据仓库、数据平台的区别
1、数据中台是企业级的逻辑概念，体现企业 D2V（Data to Value）的能力，为业务提供服务的主要方
式是数据 API；
2、数据仓库是一个相对具体的功能概念，是存储和管理一个或多个主题数据的集合，为业务提供服务的
方式主要是分析报表；
3、数据平台是在大数据基础上出现的融合了结构化和非结构化数据的数据基础平台，为业务提供服务的
方式主要是直接提供数据集；
4、数据中台距离业务更近，为业务提供速度更快的服务；
5、数据仓库是为了支持管理决策分析，而数据中台则是将数据服务化之后提供给业务系统，不仅限于分
析型场景，也适用于交易型场景；
6、数据中台可以建立在数据仓库和数据平台之上，是加速企业从数据到业务价值的过程的中间层。
剩余45页未读，继续阅读
资源评论
