大数据治理平台及大数据应用项目解决方案 整理制作郎丰利 1519
目 录
1. 大数据概述........................................................................................................................4
1.1. 概述............................................................................................................................4
1.2. 大数据定义................................................................................................................4
1.3. 大数据技术进展........................................................................................................6
2. 大数据应用......................................................................................................................11
2.1. 大数据应用阐述......................................................................................................11
2.2. 大数据应用架构......................................................................................................13
2.3. 大数据行业应用......................................................................................................13
2.3.1. 医疗行业..........................................................................................................13
2.3.2. 能源行业..........................................................................................................14
2.3.3. 通信行业..........................................................................................................15
2.3.4. 零售业..............................................................................................................15
3. 大数据解决方案..............................................................................................................17
3.1. 大数据技术组成......................................................................................................17
3.1.1. 分析技术..........................................................................................................17
3.1.1.1. 可视化分析.........................................................................17
3.1.1.2. 数据挖掘算法.....................................................................17
3.1.1.3. 推测分析能力.....................................................................17
3.1.1.4. 语义引擎 ............................................................................18
3.1.1.5. 数据质量和数据治理.........................................................18
3.1.2. 储备数据库......................................................................................................19
3.1.3. 分布式运算技术..............................................................................................20
3.2. 大数据处理过程......................................................................................................23
3.2.1. 采集..................................................................................................................23
3.2.2. 导入/预处理....................................................................................................23
3.2.3. 统计/分析........................................................................................................23
3.2.4. 挖掘..................................................................................................................24
3.3. 大数据处理的核心技术-Hadoop............................................................................24
3.3.1. Hadoop 的组成.................................................................................................24
3.3.2. Hadoop 的优点：.............................................................................................28
3.3.2.1. 高可靠性。.........................................................................28
3.3.2.2. 高扩展性。.........................................................................29
3.3.2.3. 高效性。 ............................................................................29
3.3.2.4. 高容错性。.........................................................................29
3.3.3. Hadoop 的不足.................................................................................................29
3.3.4. 要紧商业性〝大数据〞处理方案..................................................................30
3.3.2.5. IBM InfoSphere 大数据分析平台....................................30
3.3.2.6. Or a c l e Bi g Da t aApplianc.................................32
3.3.2.7. Mi c r o s o f t S QLServer.......................................32
3.3.2.8. Sybase IQ ..........................................................................33
