img
share 分享

VIP会员

作者:CSDN

出版社:CSDN《程序员》

ISBN:1111111111117

VIP会员免费 (仅需0.8元/天) ¥ 40000.0

温馨提示: 价值40000元的1000本电子书,VIP会员随意看哦!

电子书推荐

更多资源 展开

深入理解Spark:核心思想与源码分析.耿嘉安(带详细书签) PDF 下载 高清 完整版 评分:

《深入理解SPARK:核心思想与源码分析》结合大量图和示例,对Spark的架构、部署模式和工作模块的设计理念、实现源码与使用技巧进行了深入的剖析与解读。 《深入理解SPARK:核心思想与源码分析》一书对Spark1.2.0版本的源代码进行了全面而深入的分析,旨在为Spark的优化、定制和扩展提供原理性的指导。阿里巴巴集团专家鼎力推荐、阿里巴巴资深Java开发和大数据专家撰写。 本书分为三篇: 准备篇(第1~2章),介绍了Spark的环境搭建、设计理念与基本架构,帮助读者了解一些背景知识。 核心设计篇(第3~7章),着重讲解SparkContext的初始化、存储体系、任务提交与执行、计算引擎及部署模式的原理和源码分析。通过这部分的内容,读者可以通过源码剖析更加深入理解Spark的核心设计与实现,以便在实际使用中能够快速解决线上问题并对性能进行调优。 扩展篇(第8~11章),主要讲解基于Spark核心的各种扩展及应用,包括SQL处理引擎、Hive处理、流式计算框架Spark Streaming、图计算框架GraphX、机器学习库MLlib等内容。通过阅读这部分内容,读者可以扩展实际项目中对Spark的应用场景,让Spark焕发活力。 目录 前言 准 备 篇 第1章 环境准备 2 1.1 运行环境准备 2 1.1.1 安装JDK 3 1.1.2 安装Scala 3 1.1.3 安装Spark 4 1.2 Spark初体验 4 1.2.1 运行spark-shell 4 1.2.2 执行word count 5 1.2.3 剖析spark-shell 7 1.3 阅读环境准备 11 1.4 Spark源码编译与调试 13 1.5 小结 17 第2章 Spark设计理念与基本架构 18 2.1 初识Spark 18 2.1.1 Hadoop MRv1的局限 18 2.1.2 Spark使用场景 20 2.1.3 Spark的特点 20 2.2 Spark基础知识 20 2.3 Spark基本设计思想 22 2.3.1 Spark模块设计 22 2.3.2 Spark模型设计 24 2.4 Spark基本架构 25 2.5 小结 26 核心设计篇 第3章 SparkContext的初始化 28 3.1 SparkContext概述 28 3.2 创建执行环境SparkEnv 30 3.2.1 安全管理器SecurityManager 31 3.2.2 基于Akka的分布式消息系统ActorSystem 31 3.2.3 map任务输出跟踪器mapOutputTracker 32 3.2.4 实例化ShuffleManager 34 3.2.5 shuffle线程内存管理器ShuffleMemoryManager 34 3.2.6 块传输服务BlockTransferService 35 3.2.7 BlockManagerMaster介绍 35 3.2.8 创建块管理器BlockManager 36 3.2.9 创建广播管理器Broadcast-Manager 36 3.2.10 创建缓存管理器CacheManager 37 3.2.11 HTTP文件服务器HttpFile-Server 37 3.2.12 创建测量系统MetricsSystem 39 3.2.13 创建SparkEnv 40 3.3 创建metadataCleaner 41 3.4 SparkUI详解 42 3.4.1 listenerBus详解 43 3.4.2 构造JobProgressListener 46 3.4.3 SparkUI的创建与初始化 47 3.4.4 Spark UI的页面布局与展示 49 3.4.5 SparkUI的启动 54 3.5 Hadoop相关配置及Executor环境变量 54 3.5.1 Hadoop相关配置信息 54 3.5.2 Executor环境变量 54 3.6 创建任务调度器TaskScheduler 55 3.6.1 创建TaskSchedulerImpl 55 3.6.2 TaskSchedulerImpl的初始化 57 3.7 创建和启动DAGScheduler 57 3.8 TaskScheduler的启动 60 3.8.1 创建LocalActor 60 3.8.2 ExecutorSource的创建与注册 62 3.8.3 ExecutorActor的构建与注册 64 3.8.4 Spark自身ClassLoader的创建 64 3.8.5 启动Executor的心跳线程 66 3.9 启动测量系统MetricsSystem 69 3.9.1 注册Sources 70 3.9.2 注册Sinks 70

...展开详情
上传时间:2018-01 大小:58.65MB
热门图书