数据中台：宜信敏捷数据中台建设实践
29 浏览量
2021-02-24
09:02:56
上传
评论
收藏 26.26MB PDF 举报
数据中台：宜信敏捷数据中台建设实践数据中台：宜信敏捷数据中台建设实践
一、导语
为什么我们要在数据中台前加上“敏捷”呢？了解我们的朋友都知道我所在的团队是宜信敏捷大数据团队，我们倡导“敏捷平民
化”，把敏捷思想融入到系统建设中，并且研发了四个开源平台：DBus、Wormhole、Moonbox、Davinci。宜信的数据中台是
由我们敏捷大数据团队基于四大开源平台开发建设的，因此我们将宜信的数据中台称之为“敏捷数据中台”。
本次分享分为三个部分：
宜信敏捷数据中台的顶层设计。数据中台是一个公司级的平台系统，所以不能只从技术层面去设计，还要考虑包括流程、标准
化等在内的顶层设计。
从中间件工具到平台介绍宜信是如何设计建设敏捷数据中台的。
结合典型案例介绍宜信敏捷数据中台支持哪些数据方面的应用和实践。
二、宜信敏捷数据中台的顶层设计
2.1 特点和需求
关于数据中台的建设，目前并没有一个标准的解决方案，也没有一个数据中台能适用于所有的公司，每个公司都应该结合自己
的业务规模及数据需求现状来研发适合自己公司的数据中台。
在介绍宜信敏捷数据中台的顶层设计之前，我们先来了解其背景：
业务板块和业务条线众多。宜信的业务大体可分为四大板块：普惠金融板块、财富管理板块、资产管理板块、金融科技板块，
拥有近百条业务线和产品线。
技术选型众多。不同业务方有不同的数据需求，技术选型时依据这些客观需求及主观偏好，会选择不同的数据组件，包括 ：
MySQL、Oracle、HBase、KUDU、Cassandra、Elasticsearch、MongoDB、Hive、Spark、Presto、Impala、Clickhouse
等。
数据需求多样。业务线多样，导致数据需求多样，包括：报表、可视化、服务、推送、迁移、同步、数据应用等。
数据需求多变。为顺应互联网的快速变化，业务方的数据需求也是多变的，经常有周级产出数据需求和数据应用。
数据管理考虑。要求数据元信息可查，数据定义和流程标准化，数据管理可控等。
数据安全考虑。宜信作为一家同时拥有互联网属性和金融属性的公司，对数据安全和权限的要求很高，我们在数据安全方面做
了很多工作，包括：多级数据安全策略、数据链路可追溯、敏感数据不可泄露等。
数据权限考虑。在数据权限方面的工作包括：表级、列级、行级数据权限，组织架构、角色、权限策略自动化。
数据成本考虑。包括集群成本、运维成本、人力成本、时间成本、风险成本等。
2.2 定位
关于数据中台的定位，每个公司都不太一样。有的公司业务比较专注，只有一条业务线，那它在建设数据中台的时候，可能需
要一个垂直的平台，直达前线，更好地支持前线的运作。
前文提到宜信业务线很多，且在众多业务中没有一个主体业务，这就相当于所有业务线都是主体。基于这样的背景，我们需要
一个平台化的数据中台，来支撑所有业务线的需求和运作。
剩余20页未读，继续阅读
资源评论
