八维数据平台 需求文档
修订记录：
版本号
修订人
修订日期
描述
V1.0
刘刚
9 月 17 日
创建文档
目录
需求背景 ...............................................................................................................................................................3
需求目标 ...............................................................................................................................................................3
系统架构 ...............................................................................................................................................................3
功能结构 ...............................................................................................................................................................4
业务流程 ...............................................................................................................................................................6
ETL 业务流程 ..............................................................................................................................................6
数据工厂业务流程....................................................................................................................................6
名词解释 ...............................................................................................................................................................7
通用规则 ...............................................................................................................................................................7
需求描述 ...............................................................................................................................................................7
一、 数据清洗（ETL）....................................................................................................................7
1、 数据源管理...........................................................................................................................7
2、 规则引擎.............................................................................................................................10
3、 任务管理.............................................................................................................................12
4、 实时监测列表....................................................................................................................15
5、 BI 数据分析........................................................................................................................15
二、 数据工厂-数据集成.............................................................................................................16
1、 接口列表（第三方数据）数据集成...........................................................................16
2、 开发人员任务....................................................................................................................18
3、 开发进度管理....................................................................................................................18
4、 接入项目.............................................................................................................................19
三、 数据工厂-数据服务.............................................................................................................19
1、 服务监测（统计/报表系统）.......................................................................................19
2、 API 市场（接口配置）...................................................................................................19
3、 API 接口规则 .....................................................................................................................19
四、 数据工厂 .................................................................................................................................19
1、 接口类型管理....................................................................................................................19
五、 系统管理 .................................................................................................................................19
1、 用户组管理 ........................................................................................................................19
2、 角色管理.............................................................................................................................20
3、 用户管理.............................................................................................................................21
4、 项目人员配置....................................................................................................................22
需求背景
伴随着中国经济产业结构转型以及 互联网+与“大数据时代”的到来。人们的日常活动越来越
多，各个行业面临的挑战也越来越多。如：
传统数仓难以应对多种数据源的数据处理场景
数据量快速增长，传统数仓难以承载
难以横向扩容，存储成本高
实时性分析达不到应用要求
难以直面应用，解决业务痛点
大数据时代，如何治理海量大数据，如何分析应用大数据成为重要的机遇和挑战，也是本次
需求核心价值。
需求目标
需要实现基础的数据治理能力，数据产品输出，以及数据分析和开发任务的分配流转。包括：
数据存储量从 TB->PB 以上，可持续实时产生数据；
即时处理，全业务，全量数据实时分析，由果及因；
数据挖掘，预测性分析；
通过定义数据结构直接生成接口，减少开发维护接口文档的成本；
系统架构
功能结构
