某大数据平台整体方案建议书

集团大数据平台

整体方案建议书

1

目 录

1 项目概述.................................................................................................................................... 11

1.1 建设背景....................................................................................................................................11

1.1.1

集团已有基础

.......................................................................................................................11

1.1.2

痛点及需提升的能力

...........................................................................................................11

1.3.2

量收系统

1.3.3

金融大数据平台

1.3.4

各生产系统

1.3.5 CRM.......................................................................................................................................14

1.4 公司介绍和优势特点.................................................................................................................15

1.4.1 IDEADATA...............................................................................................................................15

1.4.2 TRANSWARP..........................................................................................................................16

1.4.3

我们的优势

2 业务需求分析............................................................................................................................. 19

2.1 总体需求....................................................................................................................................19

2.3 数据管控....................................................................................................................................22

2.4 数据分析与挖掘........................................................................................................................23

2

2.5 数据展现....................................................................................................................................24

2.6 量收系统功能迁移....................................................................................................................24

3 系统架构设计............................................................................................................................. 25

3.1 总体设计目标............................................................................................................................ 25

3.2 总体设计原则............................................................................................................................ 25

3.3 案例分析建议............................................................................................................................ 26

3.3.1

中国联通大数据平台

...........................................................................................................26

3.3.2

恒丰银行大数据平台

...........................................................................................................32

3.4.4

系统接口设计

.......................................................................................................................56

3.4.5

系统网络结构

.......................................................................................................................59

4 系统功能设计............................................................................................................................. 61

4.1 概述............................................................................................................................................ 61

4.2 平台管理功能............................................................................................................................ 62

4.2.1

多应用管理

4.2.2

多租户管理

4.2.3

统一运维监控

.......................................................................................................................65

4.2.4

作业调度管理

.......................................................................................................................83

4.3 数据管理....................................................................................................................................84

3

4.3.6

数据计算

4.3.7

数据查询

4.4.1

主数据管理

4.4.2

元数据管理技术

4.4.3

数据质量

6）数据清理............................................................................................................................... 136

4.5 数据 ETL....................................................................................................................................140

4.6.6

自然语言处理和文本挖掘

.................................................................................................150

4.6.7

实时分析

4.6.8

分析管理

4.6.9

分析支持

4.6.10

指标维护

...........................................................................................................................155

4.6.11

分析流程固化

...................................................................................................................155

4.6.12

分析结果发布

...................................................................................................................155

4.6.13

环境支持

...........................................................................................................................155

4.7.6

电子地图支持

.....................................................................................................................165

5 技术要求实现........................................................................................................................... 167

4

5.1 产品架构..................................................................................................................................167

5.1.1

基础构建平台

.....................................................................................................................170

5.1.3

系统分布式架构

5.2 运行环境支持.......................................................................................................................... 202

5.2.1

系统操作支持以及环境配置

5.2.2

与第三方软件平台的兼容说明

5.3 客户端支持..............................................................................................................................203

5.3.1

客户端支持

5.3.2

移动端支持

5.4 数据支持..................................................................................................................................204

5.5 集成实现..................................................................................................................................205

5.6 运维实现..................................................................................................................................207

5.6.1

运维目标

5.6.8

系统升级

5.6.9

系统监控平台功能

.............................................................................................................215

5.7 平台性能..................................................................................................................................223

5.7.1

集群切换

5.7.2

节点切换

5.7.3

性能调优

5.7.4

并行化高性能计算

.............................................................................................................230

5.7.5

计算性能线性扩展

.............................................................................................................233

5.8 平台扩展性..............................................................................................................................234

5.9 可靠性和可用性......................................................................................................................235

5