没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
大数据平台数据治理体系和大数据架构技术方案
1 / 315
大数据平台数据治理体系和大数据
架构技术方案
大数据平台数据治理体系和大数据架构技术方案
2 / 315
目录
1. .....................................................................................................................................................8
2. .....................................................................................................................................................8
3. .....................................................................................................................................................8
4. .....................................................................................................................................................8
第 1 章 需求概述 ..........................................................................................................................8
1.1 背景概述 .......................................................................................................................................8
1.2 建设目标 .......................................................................................................................................8
1.3 需求理解 .....................................................................................................................................10
1.4 面临挑战 .....................................................................................................................................11
1.5 设计原则 .....................................................................................................................................12
第 2 章 总体技术方案.................................................................................................................15
2.1 软件架构 .....................................................................................................................................15
2.2 总体技术架构设计 .....................................................................................................................16
2.3 功能组件完整性介绍 .................................................................................................................20
2.3.1、 数据集成组件( Data Hub)
.....................................................................................25
2.3.1.1、 数据采集 .............................................................................................................................26
2.3.1.2、 数据采集管理 .....................................................................................................................33
2.3.2、 大数据计算存储平台( Hadoop Distribution)
....................................................35
2.3.2.1、 海量数据集中存储..............................................................................................................36
2.3.2.2、 高效数据处理 .....................................................................................................................37
2.3.2.3、 分布式应用协调 .................................................................................................................42
2.3.2.4、 计算资源分配控制..............................................................................................................42
2.3.2.5、 存储资源分配控制..............................................................................................................43
2.3.2.6、 平台高可用性 .....................................................................................................................43
2.3.3、 算法与分析工具 ( Artificial Intelligence)
....................................................48
2.3.3.1、 数据挖掘工具 .....................................................................................................................50
2.3.3.2、 R 统计分析 ..........................................................................................................................53
2.3.3.3、 Python 统计分析 ................................................................................................................54
2.3.4、 数据资产管理 ( Data Governor)
............................................................................54
2.3.4.1、 元数据管理 .........................................................................................................................55
2.3.4.2、 数据标准与质量管理..........................................................................................................58
2.3.4.3、 数据生命周期管理..............................................................................................................59
2.3.5、 数据可视化( Vision)
.............................................................................................61
2.3.5.1、 数据源 .................................................................................................................................61
2.3.5.2、 智能报表 .............................................................................................................................62
2.3.5.3、 仪表板 .................................................................................................................................64
2.3.5.4、 自助分析 .............................................................................................................................66
2.3.5.5、 多维分析 .............................................................................................................................67
2.3.5.6、 OFFICE 插件 ........................................................................................................................68
2.3.5.7、 移动可视化 .........................................................................................................................69
2.3.6、 系统运维监控( Manager)
.......................................................................................70
2.3.6.1、 安装部署 .............................................................................................................................70
2.3.6.2、 集群监控 .............................................................................................................................71
2.3.6.3、 服务管理 .............................................................................................................................74
2.3.6.4、 主机管理 .............................................................................................................................76
2.3.6.5、 告警管理 .............................................................................................................................79
2.3.6.6、 版本管理 .............................................................................................................................81
2.3.6.7、 日志管理 .............................................................................................................................82
2.3.6.8、 多租户管理 .........................................................................................................................82
2.3.7、 架构优化设计
...............................................................................................................86
2.3.7.1、 统计分析和精确查询..........................................................................................................86
大数据平台数据治理体系和大数据架构技术方案
3 / 315
2.3.7.2、 Spark 计算引擎结合分布式内存计算提供交互式统计分析能力 ...................................86
2.3.7.3、 多种索引支持与智能索引..................................................................................................87
2.3.7.4、 高并发、低延迟性能优化..................................................................................................88
2.3.7.5、 计算资源有效管控..............................................................................................................88
2.3.7.6、 API 设计和开发工具支持...................................................................................................89
2.3.7.7、 接口开放性 .........................................................................................................................89
2.3.7.8、 第三方工具生态圈整合......................................................................................................91
2.3.7.9、 扩容、备份、恢复机制......................................................................................................92
2.3.8、 功能优势说明
...............................................................................................................93
2.3.9、 集群规划
.......................................................................................................................93
2.3.9.1、 集群划分 .............................................................................................................................93
2.3.9.2、 数据仓库集群 .....................................................................................................................94
2.3.9.3、 历史数据分析探索集群......................................................................................................95
2.3.9.4、 开发集群 .............................................................................................................................96
2.3.9.5、 测试集群 .............................................................................................................................97
2.3.9.6、 集群容量说明 .....................................................................................................................98
2.3.9.7、 硬件配置建议 .....................................................................................................................98
数据仓库集群配置建议 ........................................................................................................................98
历史数据分析探索集群配置建议 ........................................................................................................99
开发集群配置建议 ................................................................................................................................99
测试集群配置建议 ..............................................................................................................................100
2.3.9.8、 网络拓扑架构 ...................................................................................................................100
2.4 系统基本功能点 .......................................................................................................................101
2.4.1、 的发展紧随 Apache 社区
...........................................................................................101
2.4.2、 集群内所有组件的管理节点均实现 HA
.....................................................................102
2.4.3、 提供完全基于 WEB 图形化的集群服务器角色,配置和状态管理
..........................102
2.4.4、 集群支持线性扩展
.....................................................................................................103
2.4.5、 100%兼容标准 SQL92
..................................................................................................103
2.4.6、 支持分布式文件系统 HDFS 和 HBase 等主流数据库
................................................108
2.4.7、 支持多种计算执行引擎
.............................................................................................108
2.4.7.1、 内存计算框架 ...................................................................................................................109
2.4.7.2、 批量计算框架 ...................................................................................................................111
2.4.7.3、 流式计算框架 ...................................................................................................................112
2.4.7.4、 多维数据分析计算框架....................................................................................................113
2.4.8、 支持异构数据库关联查询
.........................................................................................115
2.4.9、 支持大部分的机器学习和数据挖掘算法
..................................................................116
2.4.10、 支持图形化 ETL
......................................................................................................117
2.4.11、 同时支持 Solr 和 ElasticSearch
........................................................................118
2.4.11.1、 Elasticsearch .................................................................................................................118
ElasticSearch 优点 ...........................................................................................................................118
ElasticSearch 缺点 ...........................................................................................................................119
2.4.11.2、 Solr ...................................................................................................................................119
Solr 的优点.........................................................................................................................................119
Solr 的缺点.........................................................................................................................................119
2.4.12、 支持各种类型的数据
.............................................................................................120
2.4.13、 支持多租户
.............................................................................................................120
2.4.14、 支持支持分布式存储数据加密
.............................................................................121
2.4.15、 支持记录操作日志留存
.........................................................................................121
2.4.16、 支持自适应压缩算法
.............................................................................................122
2.4.17、 SQL 支持各类函数
..................................................................................................123
2.4.18、 具备可视化分析能力
.............................................................................................126
2.4.19、 支持建立 OLAP Cube
..............................................................................................126
2.4.20、 支持数据预警功能
.................................................................................................127
2.4.21、 支持多种数据类型的文件加载到大数据平台
......................................................127
2.4.22、 支持复杂模型建模
.................................................................................................129
2.4.23、 数据上载速度快
.....................................................................................................132
大数据平台数据治理体系和大数据架构技术方案
4 / 315
2.4.24、 SQL 性能好
..............................................................................................................139
2.4.24.1、 NoSQL 数据库单服务器扫描性能测试.............................................................................139
2.4.24.2、 文本文件中导入数据单机性能测试................................................................................139
2.4.24.3、 Spark 导入 NoSQL 数据单机性能测试.............................................................................140
2.4.25、 朴素贝叶斯分类性能好
.........................................................................................140
2.5 数据库功能支持 .......................................................................................................................141
2.5.1、 开发及应用接口
.........................................................................................................141
2.5.2、 SQL 语法兼容性
..........................................................................................................143
2.5.3、 生命周期管理功能
.....................................................................................................146
2.5.3.1、 热数据 ...............................................................................................................................146
2.5.3.2、 冷数据 ...............................................................................................................................146
2.5.4、 表分区功能
.................................................................................................................147
2.5.5、 表压缩功能
.................................................................................................................147
2.5.6、 大表索引管理
.............................................................................................................147
2.5.7、 数据导入与导出
.........................................................................................................148
2.5.8、 多级数据存储
.............................................................................................................149
2.5.9、 半结构化与非结构化数据支持
.................................................................................149
2.5.9.1、 全文数据处理 ...................................................................................................................150
2.5.9.2、 安全可靠与运维能力........................................................................................................150
2.5.9.3、 资源管理 ...........................................................................................................................150
2.5.9.4、 系统容错性 .......................................................................................................................152
2.5.10、 单点故障消除
.........................................................................................................153
2.5.11、 容灾与备份
.............................................................................................................154
2.5.12、 在线扩容
.................................................................................................................154
第 3 章 项目实施管理方案 .......................................................................................................155
3.1 项目组织管理 ..........................................................................................................................155
3.1.1 建立项目组织管理机构
..................................................................................................155
3.1.2 确定项目分工角色职责
..................................................................................................156
3.1.3 建立项目组织相关管理制度
..........................................................................................159
3.2 项目管理计划 ..........................................................................................................................160
3.2.1 综合管理计划
..................................................................................................................160
3.2.1.1 项目计划编制...........................................................................................................................160
3.2.1.2 项目计划执行...........................................................................................................................161
3.2.2 综合变更控制
..................................................................................................................161
3.3 范围控制计划 ..........................................................................................................................161
3.3.1 范围定义及跟踪
..............................................................................................................161
3.3.2 变更管理
..........................................................................................................................162
3.3.3 变更控制工具
..................................................................................................................162
3.4 进度控制计划 ..........................................................................................................................163
3.4.1 项目进度跟踪
..................................................................................................................163
3.4.2 项目进度分析
..................................................................................................................163
3.4.3 项目进度控制
..................................................................................................................164
3.5 组织机构和人员管理计划.......................................................................................................164
3.5.1 人力资源规划
..................................................................................................................164
3.5.2 项目团队建设
..................................................................................................................165
3.5.3 项目团队管理
..................................................................................................................165
3.6 质量保障计划 ..........................................................................................................................165
3.6.1 质量保证目标
..................................................................................................................165
3.6.2 质量保证角色与职责
......................................................................................................165
3.6.3 质量保证流程
..................................................................................................................166
3.6.4 质量保证活动
..................................................................................................................167
3.7 沟通管理计划 ..........................................................................................................................167
3.7.1 沟通计划
..........................................................................................................................167
大数据平台数据治理体系和大数据架构技术方案
5 / 315
3.7.2 报告形式
..........................................................................................................................168
3.7.3 相关工具文档
..................................................................................................................169
3.8 配置管理计划 ..........................................................................................................................169
3.8.1 配置管理目标
..................................................................................................................169
3.8.2 配置管理角色与职责
......................................................................................................169
3.8.3 配置管理流程
..................................................................................................................169
3.8.4 配置项定义
......................................................................................................................171
3.8.5 配置管理活动
..................................................................................................................172
3.8.6 配置管理工具
..................................................................................................................176
3.9 风险控制计划 ..........................................................................................................................176
3.9.1 风险识别
..........................................................................................................................176
3.9.2 风险分析
..........................................................................................................................176
3.9.3 风险控制
..........................................................................................................................177
3.10 变革管理计划 ........................................................................................................................178
3.10.1 变革管理方法
................................................................................................................178
3.10.2 变革管理成功的关键策略
............................................................................................178
3.11 项目进度计划 ........................................................................................................................179
3.11.1 影响项目进度的因素
....................................................................................................179
3.11.2 项目进度制定的原则
....................................................................................................179
3.11.3 项目实施进度计划
........................................................................................................179
3.11.4 项目里程碑
....................................................................................................................180
3.12 安全保密计划 ........................................................................................................................180
3.13 文档编制计划 ........................................................................................................................181
3.13.1 项目管理类
....................................................................................................................182
3.13.2 软件工程类
....................................................................................................................182
3.13.3 项目支持类
....................................................................................................................182
3.14 质量保障计划 ........................................................................................................................186
3.14.1 确定质量保证目标
........................................................................................................186
3.14.2 质量保证角色与职责
....................................................................................................186
3.14.3 质量保证流程
................................................................................................................187
3.14.4 质量保证活动
................................................................................................................188
3.15 产品交付计划 ........................................................................................................................188
3.15.1 背景介绍
........................................................................................................................188
3.15.2 客户管理
........................................................................................................................189
3.15.3 服务人员管理
................................................................................................................190
3.15.3.1 服务人员.................................................................................................................................190
3.15.3.2 服务文化.................................................................................................................................192
3.15.4 服务流程管理
................................................................................................................192
3.15.4.1 前期介入.................................................................................................................................192
3.15.4.2 系统部署.................................................................................................................................193
3.15.4.3 数据迁移.................................................................................................................................194
3.15.4.4 试用.........................................................................................................................................195
3.15.4.5 正式上线.................................................................................................................................195
3.15.4.6 项目验收.................................................................................................................................196
3.15.4.7 应急处理.................................................................................................................................196
3.15.5 服务实体设施
................................................................................................................197
3.15.6 产品详细交付计划
........................................................................................................198
3.16 项目培训计划 ........................................................................................................................202
3.16.1 培训组织管理
................................................................................................................202
3.16.2 培训队伍要求
................................................................................................................203
3.16.3 培训对象
........................................................................................................................203
3.16.4 培训内容及要求
............................................................................................................203
3.17 实施风险管理 ........................................................................................................................205
3.17.1 风险计划
........................................................................................................................205
剩余314页未读,继续阅读
资源评论
智慧方案文库
- 粉丝: 1948
- 资源: 1万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功