第一章 分布式计算框架与资源调度 6
1.1 分布式计算框架 6
1.1.1 编程模型 6
1.1.2 特殊的组件partitioner与combiner 11
1.1.3 用mr进行数据的排序，然后求出topN 14
1.1.4 MapReduce 求两个人的共同好友算法 17
1.2 分布式资源调度框架 21
1.2.1 yarn的概念 21
1.2.2 yarn的架构 22
1.2.3 yarn的工作流程 22
1.2.4 yarn的调度器 Scheduler 24
1.3 分布式文件存储系统 26
1.3.1 架构 26
1.3.2 原理 27
1.3.3 API 30
1.4 项目 45
1.4.1 点击流日志模型 45
1.4.2 推荐系统项目 54
1.5 相关面试题 57
第2章 数据分析及其步骤 59
2.1 数据分析定义 59
2.2 数据分析的作用 59
2.2.1 现状分析 59
2.2.2 原因分析 60
2.2.3 预测分析 60
2.3 数据分析基本步骤（重点） 60
2.3.1 明确分析目的和思路 61
2.3.2 数据收集 65
2.3.3 数据处理 66
2.3.4 数据分析 66
2.3.5 数据展现（数据可视化） 67
2.3.6 报告撰写 67
2.4 行业前景 68
2.4.1 蓬勃发展的趋势 68
2.4.2 数据分析师的职业要求 69
2.5 大数据时代 70
2.5.1 大数据的含义 70
2.5.2 产生背景 70
2.5.3 影响 71
2.5.4 特征 73
2.5.5 思维变革 74
2.5.6 第三个思维变革： 74
不是所有的事情都必须知道现象背后的原因，而是要让数据自己“发声”，即不是因果关系，而是相关关系。 74
2.5.7 科技发展带来的挑战 74
2.5.8 分布式系统 75
2.6 面试题: 76
2.6.1 分布式和集群有啥区别呢？ 76
2.6.2 集群 负载均衡 分布式 有什么区别？ 77
2.6.3 Web流量日志数据自定义采集 78
2.7 Hive 87
2.7.1 Hive的基本简介 87
2.7.2 Hive数仓开发的基本流程。 88
2.7.3 Hive sql 知识点。 90
2.8 Hive面试题 94
2.8.1 Hive常见 94
2.8.2 海量数据处理方法 152
2.9 Hadoop HA 165
2.9.1 知识点 165
2.9.2 上课用图 174
2.9.3 3、 面试题 175
2.10 Hadoop的联邦机制 176
2.10.1 为什么会出现联邦？ 176
2.10.2 联邦的实现 176
2.10.3 主要优点： 177
2.10.4 配置： 178
2.10.5 操作 179
2.11 项目 180
2.11.1 点击流日志模型 180
2.11.2 相关面试题 189
2.11.3 推荐系统项目 189
第3章 Storm 192
3.1 架构 193
3.1.1 Nimbus 193
3.1.2 Zookeeper 193
3.1.3 supervisor 193
3.1.4 worker 193
3.2 编程模型 194
3.2.1 Spout 194
3.2.2 Bolt 194
3.2.3 并行度 194
3.2.4 消息不丢失 195
3.3 Storm 物联网wifi项目 195
3.3.1 wifi项目背景 195
3.3.2 2)数据来源(采集) 196
3.3.3 集群规模配置 197
3.3.4 数据处理流程 197
3.3.5 数据计算流程 199
3.4 storm实时看板案例 199
3.4.1 需求分析 199
3.4.2 确定数据源 200
3.4.3 确定采集方案 200
3.4.4 确定存储 201
3.4.5 数据计算 201
3.4.6 展现 201
3.5 storm日志监控告警系统 202
3.5.1 需求分析 202
3.5.2 确定数据源 202
3.5.3 确定采集方案 202
3.5.4 确定存储 203
3.5.5 数据计算 203
3.6 Storm的框架 203
3.7 面试题 204
第4章 Kafka 204
4.1 kafka的介绍 204
4.2 kafka的架构 207
4.3 kafka集群的安装与搭建 210
4.4 kafkfa的原理 213
4.5 kafka的API使用 216
4.6 kafka与其他的整合使用 220
第5章 HBASE数据库 237
5.1 数据库 OLAP、OLTP的介绍和比较 237
5.2 Hbase基础 238
什么是OLTP 238
5.2.1 hbase数据库介绍 241
5.2.2 hbase集群结构 244
5.2.3 hbase集群搭建 (简易步骤) 245
5.2.4 命令行演示 245
5.2.5 hbase代码开发（基本，过滤器查询） 246
5.2.6 hbase内部原理 247
5.2.7 物理存储 249
5.2.8 寻址机制 253
5.2.9 读写过程 254
5.2.10 Region管理 256
5.2.11 Master工作机制 257
5.2.12 HBase容错性 257
5.3 Hbase高级应用 258
5.3.1 建表高级属性 258
5.3.2 HBase的设计原则 260
5.3.3 rowkey长度原则 260
5.3.4 什么是热点 261
1）加盐 261
2）哈希 262
3）反转 262
4）时间戳反转 262
5.4 HBase性能优化完全版 263
5.4.1 垃圾回收优化 263
5.4.2 启用压缩，详情自行搜索，暂时未曾尝试，后面持续更新。 264
5.4.3 优化Region拆分合并以及与拆分Region 264
5.4.4 4.客户端入库调优 265
5.4.5 HBase配置文件 266
5.4.6 HDFS优化部分 270
5.5 大数据Hbase 面试题 271
第6章 spark 277
6.1 什么是Spark 277
6.1.1 Spark的特点及相对于MapReduce的优势 277
6.1.2 Spark HA高可用部署 279
6.1.3 Spark的角色 280
6.1.4 Spark程序提交任务模式 281
6.1.5 Spark-Shell 282
6.1.6 在IDEA中编写WordCount程序 283
6.2 Spark Streaming 283
6.2.1 Spark Streming的特性 283
6.2.2 Spark Streaming 对比 Storm 283
6.3 算子操作 283
6.3.1 Transformations 283
6.3.2 OutputOperations 285
6.3.3 Spark Streming编程实战 286
6.3.4 SparkStreaming整合flume 286
6.3.5 SparkStreaming整合Kafka 286
6.3.6 Checkpoint 287
6.4 Spark SQL 288
6.4.1 几个知识点 288
6.4.2 002 以编程方式执行Spark SQL查询 289
6.4.3 JDBC数据源 291
6.5 SparkRDD 291
6.5.1 了解SparkRDD 291
1）什么是RDD 291
2）RDD的属性 292
3.为什么会产生RDD？ 293
4） RDD在Spark中的地位及作用 293
6.5.2 创建RDD 294
6.5.3 RDD编程API 295
6.5.4 RDD常用的算子操作 297
6.5.5 RDD的依赖关系 300
6.5.6 RDD的缓存 301
6.5.7 DAG的生成 302
6.5.8 Spark任务调度 303
6.6 RDD容错机制之checkpoint 305
6.6.1 checkpoint是什么 305
6.6.2 checkpoint原理机制 305
6.6.3 Checkpoint常见面试问题 312
6.7 Spark运行架构 316
6.7.1 Spark运行基本流程 316
6.7.2 Spark运行架构特点 317
6.8 开发调优 323
6.8.1 调优概述 323
6.8.2 原则一：避免创建重复的RDD 323
6.8.3 原则二：尽可能复用同一个RDD 324
6.8.4 原则三：对多次使用的RDD进行持久化 325
6.8.5 原则四：尽量避免使用shuffle类算子 327
6.8.6 原则五：使用map-side预聚合的shuffle操作 328
6.8.7 原则六：使用高性能的算子 330
6.8.8 原则七：广播大变量 331
6.8.9 原则八：使用Kryo优化序列化性能 332
6.8.10 原则九：优化数据结构 332
6.9 资源调优 333
6.9.1 调优概述 333
6.9.2 资源参数调优 335
6.9.3 资源参数参考示例 339
6.10 数据倾斜调优 340
6.10.1 调优概述 340
6.10.2 数据倾斜发生时的现象 340
6.10.3 数据倾斜发生的原理 340
6.10.4 如何定位导致数据倾斜的代码 341
6.10.5 查看导致数据倾斜的key的数据分布情况 344
6.10.6 数据倾斜的解决方案 345
6.11 shuffle调优 358
6.11.1 调优概述 358
6.11.2 ShuffleManager发展概述 358
6.11.3 HashShuffleManager运行原理 358
6.11.4 SortShuffleManager运行原理 360
6.11.5 shuffle相关参数调优 362
6.12 Spark面试题汇总 365
1. spark中的RDD是什么，有哪些特性 366
2. 概述一下spark中的常用算子区别（map、mapPartitions、foreach、foreachPartition） 366
3. 谈谈spark中的宽窄依赖 366
4. spark中如何划分stage 367
5. spark-submit的时候如何引入外部jar包 367
6. spark 如何防止内存溢出 367
7. spark中cache和persist的区别 368
8. 简要描述Spark分布式集群搭建的步骤 368
9. spark中的数据倾斜的现象、原因、后果 368
10. 如何解决spark中的数据倾斜问题 369
11. flume整合sparkStreaming问题 370
12. kafka整合sparkStreaming问题 372
6.12.1 ----简答题 ---- 网上资料 --- 374
6.12.2 -------Spark on Yarn面试篇 379
6.12.3 -------spark sql 面试篇 383
6.12.4 ----选择题 --- 383
6.12.5 补充资料: (spark 集群standalone + spark on yarn) 385
0
0
15.45MB
2018-10-13
13
