某集团大数据平台整体方案建议书 下载

集团大数据平台

整体方案建议书

1

2

目 录

1 项目概述.................................................................................................................................... 12

1.1 建设背景....................................................................................................................................12

1.1.1

集团已有基础

.......................................................................................................................12

1.1.2

痛点及需提升的能力

...........................................................................................................12

1.3.2

量收系统

1.3.3

金融大数据平台

1.3.4

各生产系统

1.3.5 CRM.......................................................................................................................................15

1.4 公司介绍和优势特点.................................................................................................................16

1.4.1 IDEADATA...............................................................................................................................16

1.4.2 TRANSWARP..........................................................................................................................17

1.4.3

我们的优势

2 业务需求分析............................................................................................................................. 20

2.1 总体需求....................................................................................................................................20

2.3 数据管控.......................................................................................................................................23

2.4 数据分析与挖掘........................................................................................................................24

3

2.5 数据展现....................................................................................................................................25

2.6 量收系统功能迁移....................................................................................................................25

3 系统架构设计............................................................................................................................. 26

3.1 总体设计目标............................................................................................................................ 26

3.2 总体设计原则............................................................................................................................ 26

3.3 案例分析建议............................................................................................................................ 27

3.3.1

中国联通大数据平台

...........................................................................................................27

3.3.2

恒丰银行大数据平台

...........................................................................................................33

3.4.4

系统接口设计

.......................................................................................................................57

3.4.5

系统网络结构

.......................................................................................................................60

4 系统功能设计............................................................................................................................. 62

4.1 概述............................................................................................................................................ 62

4.2 平台管理功能............................................................................................................................ 63

4.2.1

多应用管理

4.2.2

多租户管理

4.2.3

统一运维监控

.......................................................................................................................66

4.2.4

作业调度管理

.......................................................................................................................84

4.3 数据管理....................................................................................................................................85

4

4.3.6

数据计算

4.3.7

数据查询

4.4.1

主数据管理

4.4.2

元数据管理技术

4.4.3

数据质量

6）数据清理............................................................................................................................... 137

4.5 数据 ETL....................................................................................................................................141

4.6.6

自然语言处理和文本挖掘

.................................................................................................151

4.6.7

实时分析

4.6.8

分析管理

4.6.9

分析支持

4.6.10

指标维护

...........................................................................................................................156

4.6.11

分析流程固化

...................................................................................................................156

4.6.12

分析结果发布

...................................................................................................................156

4.6.13

环境支持

...........................................................................................................................156

4.7.6

电子地图支持

.....................................................................................................................166

5 技术要求实现........................................................................................................................... 168

5