【免费】spark原理与调优详解

spark

需积分: 0 138 浏览量 2023-12-14 20:11:29 上传评论收藏 23.17MB DOCX 举报

资源推荐

资源详情

资源评论

第一章 Spark 的背景及安装 ...................................5

1.Spark 的背景以及安装和部署 ...................................5

1.1 Spark 产生的背景 ........................................5

1.2 什么是 Spark ............................................5

1.3 Spark 历史 ..............................................5

1.4 为什么要用 Spark ........................................6

1.5 Spark 对比 MapReduce ...................................7

2 spark 生态 ...................................................9

2.1 spark sql： .............................................9

2.2 Spark Streaming： ......................................10

2.3 MLLib： ................................................10

2.4 GraphX： ...............................................10

3 Spark 应用场景 ..............................................10

4 Spark 环境部署 ..............................................11

5 Standalone 集群模式安装 .....................................11

5.1 非高可用安装...........................................12

5.2 高可用安装 .............................................20

5.3 spark-shell 和提交模式 .................................24

5.4 Yarn 和 Spark 的 StandAlone 调度模式对比 .................26

6.spark 开发 ..................................................32

6.1 spark-shell 开发 .......................................32

6.2 搭建 spark 的开发环境 ...................................34

7 spark wordcount 代码实现 ....................................37

7.1 scala 版本 .............................................37

7.2 wordcount 的改版 .......................................38

7.3 打包执行 ...............................................39

第二章 Spark 的 RDD 编程 01 ..................................42

1.RDD .........................................................42

1.1 RDD 设计背景 ...........................................42

1.2 RDD 概念 ...............................................42

1.3 spark 任务的执行过程 ...................................44

2 RDD 编程 ....................................................46

2.1 RDD 创建 ...............................................46

2.2 RDD 操作 ...............................................50

第三章 Spark 的 RDD 编程 02 ..................................63

第四章 Spark 的 RDD 编程 03 ..................................92

第五章 spark-rdd 的缓存和内存管理 .........................111

1 rdd 的缓存和执行原理 .......................................111

1.1 cache 算子 ............................................111

1.2 cache 算子的存储位置 ..................................112

1.3 rdd 的缓存级别 ........................................112

1.4 缓存的使用 ............................................113

1.5 checkpoint ............................................115

1.6 rdd 的五大特性 ........................................116

2 spark 内存管理 .............................................121

2.1 静态内存管理——spark1.5 ..............................121

2.2 统一内存管理——spark1.6 以后 .........................123

第六章 spark-shuffle 和共享变量 ...........................127

1 共享变量 ...................................................127

2 BlockManager 分析 ..........................................133

3 spark 的 shuffle ...........................................135

3.1shuffle ................................................135

4 spark mapjoin ..............................................143

4.1 spark 使用的 pom .......................................143

4.2 mapjoin 所用工具及数据 ................................148

4.3 scala 版本实现上面的功能 ..............................151

4.4 定义 Driver 并运行 mapjoin .............................155

第七章 spark 序列化、 GC 和操作 hbase .......................157

1 spark 序列化使用 ...........................................157

1.1 Java 序列化 ...........................................157

1.2 Kryo 序列化 ...........................................159

2 GC 对 spark 性能的影响分析 .................................162

2.1 什么是 GC .............................................162

2.2 垃圾收集的算法 ........................................162

2.3 JVM 的 minor gc 与 full gc ..............................165

2.4 频繁 GC 的影响及优化方法 ...............................167

3 spark 操作 hbase ...........................................167

3.1 hbase 配置 ............................................167

3.2 table put .............................................171

3.3 tableoutputformat put .................................173

3.4 tableoutputformat put partitions ......................175

3.5 通过 scan 读取 hbase 表 .................................176

第八章 spark-sql ..........................................180

1 SparkSQL 的发展历程 ........................................180

1.1 Hive and Shark ........................................180

1.2 实验室集群配置 ........................................181

1.3 spark-sql shell（自己玩） .............................187

1.4 spark thriftserver（共享玩） ..........................189

1.5 spark-webUI ...........................................193

1.6 spark-sql 执行过程 ....................................195

1.7 通过 JDBC 连接 thriftserver ............................195

1.8 spark-sql 编程........................................196

1.9 RDD、DataFrame、Dataset ...............................213

1.10 spark-sql 的 UDF ......................................214

第九章 spark Streaming01 ..................................220

1 spark streaming 介绍 .......................................220

1.1 背景 ..................................................220

1.2 Spark Streaming 设计..................................220

1.3 Spark Streaming 与 flink 的对比 .......................221

2 架构及运行流程 .............................................223

2.1 架构 ..................................................223

2.2 运行流程 ..............................................224

3 DStream ....................................................226

3.1 DStream 输入源 ........................................226

3.2 DStream 转换操作 ......................................227

3.3 DStream 输出操作 ......................................232

4 SparkStreaming 程序 ........................................233

4.1 socket 创建 DStream ...................................233

第十章 sparkStreaming02 ...................................238

4.2 updateStateByKey ......................................238

4.3 streaming 用 checkpoint 恢复历史数据 ...................239

4.4 updateStateByKey 只使用最近更新的值 ...................241

4.5 window 操作...........................................243

4.6 SparkStreaming 何时使用缓存？何时开启检查点？ .........247

4.7 多 receiver 源 union 的方式.............................248

4.8 SparkStreaming 输出到 HDFS .............................250

第十一章 sparkStreaming03 .................................253

5.sparkStreaming 接入 kafka ...................................253

5.1 spark-streaming-kafka .................................253

5.2 SparkStreaming 动态更新广播变量 .......................256

5.3 sparkStreaming-kafka 的 offset 管理 ....................259

第十二章 spark 优化 01 .....................................276

1 Spark 优化汇总 .............................................276

1.1 数据序列化 ............................................276

1.2 内存调优 ..............................................277

1.3 常用 shuffle 优化 ......................................283

第十三章 spark 优化 02 .....................................285

1.4 提高并行度（资源足够的情况下） ........................285

1.5 广播共享数据..........................................286

1.6 数据本地化 ............................................286

1.7 数据倾斜 ..............................................287

2 spark-streaming 优化 .......................................289

2.1 带有 receiver 的数据接收并行度调优——多个 DStream .....290

2.2 带有 receiver 的数据接收并行度调优——blockinterval ....290

2.3 数据接收并行度调优——task ............................291

2.4 数据处理并行度调优 ....................................291

2.5 数据序列化调优 ........................................292

2.6 batch interval 调优（最重要） .........................293

2.7 内存调优 ..............................................295

剩余289页未读，继续阅读

评论收藏

内容反馈

青苍的世界

粉丝: 38
资源: 5

spark原理与调优详解

【Spark调优篇04】Spark之JVM调优1

Spark的shuffle调优

【Spark调优篇03】Spark之Shuffle调优1

spark 调优解析 spark 企业调优

Spark性能调优分享

Spark性能调优与故障处理.docx

spark单节点调优

Spark内核剖析+调优全套教程 附课件、代码、资料

Spark性能调优

Spark_资源调优1

Spark_开发调优1

基于机器学习的Spark大数据平台自动调优机制研究--毕业设计.rar

Spark性能调优与故障处理.pdf

spark性能调优

spark性能调优文档

【Spark调优篇02】Spark之算子调优1

spark性能调优与spark SQL项目代码分享

spark原理示意图

Spark3.0 调优参数 思维导图

Scala-升级版.docx

基于spark的图书推荐系统

大数据期末课设~基于spark的气象数据处理与分析

全国职业技能大赛大数据赛项十套赛题（shtd）

大数据全套教程完整版

全国2014-2018年空气质量csv数据集文件数据

spark-3.3.1-bin-3.0.0-cdh6.3.2.tgz

高分毕业设计 基于Hadoop+Kafka+Spark大数据平台的新闻日志分析处理及可视化系统源码+部署文档+全部数据资料.

Spark气象监测数据分析：代码整合，包括预处理，分析，数据可视化

基于hadoop和echarts的教育大数据可视化系统

最新资源

Spark内核剖析+调优全套教程附课件、代码、资料

Spark3.0 调优参数思维导图

高分毕业设计基于Hadoop+Kafka+Spark大数据平台的新闻日志分析处理及可视化系统源码+部署文档+全部数据资料.