下载 >  大数据 >  spark > 图解Spark核心技术与案例实战_PDF电子书,文字版

图解Spark核心技术与案例实战_PDF电子书,文字版 评分:

目录 第一篇基础篇 Spark 及其生态圈概述.............. . . . .…......... .. ... . ... .. ....... . ...... .. . ............... . .... ................. ........... 1 ··B·A . -··A Spark 简介.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.1.1 1.1.2 1.1.3 什么是Spa此. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . 1 Spark 与MapReduce 比较.. .. ... . .. .. . ....... .. .. .. . ..... . .. .. .... ......... . ... . .. ..... ...... .. . ...... .. . . .............. 3 Spark 的演进路线图.. . .. .... ..... . ....... . ... . ... . .. .. .............. . .. .. .. . ...... . ... . ....... ........ .. .. . . . ... .... . . ..... 4 1.2 Spark 生态系统.......................................................................................................... . .. 5 I .2. I 1.2.2 1.2.3 1.2.4 1.2.5 1.2.6 1.2.7 1.2.8 1.3 小结 第2 章 Spark Core ..…....... .. ......... ... ......... ........ ........... .............................. .... ................. ....... ........ 6 Spark Streaming .............….. .......…........................................ ...................................... ..... 7 Spark SQL .................. ..................... .................................. ....... .... .... ............................ .... 9 BlinkDB ......... ..............…..... ............ .………………………….........…........……........…........... 11 MLBase/MLlib ..................... ............ ...…...... ... ..... ... .......................... ......................... ..... 12 GraphX ...... ......... ................…….......……·…….......….. ... ..... ............................…................ 12 S parkR ...................……...................... ............ ........ ..................................... .... .......... ....... 13 Alluxio ................. .............................. .................................................... .... ... ..... ... ........... 14 …................... 15 搭建Spark 实战环境.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . • . . . . . . . . . . . • . . . . . . . . . . . . . • . . . . . . • . . . . . . . . . . . . . . . . . . . • . . . . . . . . . . • . . • . 16 2.1 基础环境搭建.... . .....…….......….......…........................................................................ 16 2.1.1 2.1.2 搭建集群样板机. . . .... . .. ... ... .. ... . .. . ... . .. ... .. . ... . .. ... . ... . .. .. . . .. . ... . .. .. .. . .. ... . . . . ... .. . . .. . ...................门 配置集群环境.. ... .. . .... ...... .. .. .. ... .. . .... .. .. .. . . .. .. .. .. . .... ... . ...... . ...... . .. ... . .. .. . ..... . .. .. . .... .. .... .... ....22 2.2 编译Spark 源代码.. .....………………………….. • . . . . • . . . • . . . • . . • • . . . • • • • • • . • . • • . . . . . . . . . . . . . . . . . . . . . . • . . . . . . . . 25 2.2.1 2.2.2 2.2.3 2.2.4 自己置Spark 编译环境............ . .... . ... . .. . ... . ...... . . .... . ......... . ....... . . ... .. . . . . . .. .. .. ... . .. . . . .......... . .. . ..2 6 使用Maven 编译Spark . ... .. . . . ......... ...... . . .. . .. .. .. . ... .. .. .. .. . .. .. . ... .. ...... . ...... .. ..... .. .... . .. . .. .. . .....刀 使用SBT 编译Spark ....... ......... ....... ...................................... ...................... .................. 29 生成Spark 部署包..... . .. . . . ... .. . . . . . ... ... . .... . ......... . ........ . .. . .. ... . .. .. . .. ... . .. . ............. . .. . .... . ... . .. ...3 0 2.3 搭建Spark 运行集群..... . .…….. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 I x I 图解Spark :核心技术与案例实战 第3 章 2.4 2.5 2.3.1 2.3.2 2.3.3 2.3.4 修改配置文件. ....... .…... ... . ........... .. ... .. ... . .... ... ................... . ..... . .......... . ........ . ...................引 启动Spa此.. . ....... .. .. . .. ... ..... ................. . . . . ... . ... .... .. . ......... .. ........ . .......................................刀 验证启动. ...... ... .... .. .. . ... ... .. . .......... .. .. ... ... ... . .. .. ... . ... .. .... . .. .. ... . .... .... .. . .. ...... ... .... .. ... .. ... .. . . . ..日 第一个实例.................... .. . ........... . .... . ........ . ... . ... . ............... . .... . ........ . ...... . .... . ..... .. ......... ..” 搭建Spark 实战开发环境.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 5 2.4. l 2.4.2 2.4.3 CentOS 中部署IDEA ... .... ............. ......... ............. ......................................................... .. 36 使用IDEA 开发程序..... . .. .. .. ... . .. ... . ... ... . ... .. ... .... . ... .. ... ... ... .. ..... . ...... .. .... . .... . .......... .. ........幻 使用IDEA 阅读源代码.. ...... .. . ... .. .. .. . ..... .. .. ... ..... .... ........ . .... . ..... .. ......... .. .... .. .. ...... .. ...... ..42 小结.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 7 第二篇核心篇 Spark 编程模型.. . . . • . . . . . . . . . . . • . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 8 3.1 RDD 概述.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 3.2 3.3 3.4 3.5 3 .1.1 3.1.2 3.1.3 背景....... .. ............. ... .. . ... . .. ............ . . ....... ... .. .. .... . .. .. ... .. ... .. .. ... .. .. .... . . . .. .... .. .. ..... ... . . .... ..... ...48 RDD 简介. .. . ... .. .. . .. .. ... . .. ... .. . ... . .. ... . .. .... . ... .. .. . .... .. . . . . .... . ... .. ....... ... .... .. ... .. .... .. ..... . ......... . . . .的 RDD 的类型. ..... . ............................................................................................................” RDD 的实现..................................... ...........................................................................引 3.2.1 3.2.2 3.2.3 3.2.4 3.2.5 作业调度. . .. .. ... .. . .. . ..……... . ....... . ... . ... . ...... . ...... . ... .. .. ... ... . .. .... . ... . ....... . .............. . . ... .... ..... ...51 解析器集成..... . ... . .. .. ...... . .... . ..... ... ...... ... ..... . .... ... ....... . ..... . ............ ... .......... . ................ . ....但 内存管理........…·.... .. .. . .. .. .. ... . . . . .. .. ...... . .... .. ....... .. ........... . ......... . ................. . .....................幻 检查点支持...... .. .. .. ……….. . .... .. .....……........… .....….. ... ..….. .. .. .. .... ... .. ... ....... .. …............ ...54 多用户管理.........… . ..... ... . . ......... . .. .. .. . .. ... ... ... ... . ... . .. ... ........ . ... . .......... . . . .... . ...... . ...... . ........5 4 编程接口..................................... . ............................................................................... 5 5 3.3. l 3.3 ~2 3.3.3 3.3.4 3.3.5 RDD 分区( Partitions) RDD 首选位置 RDD 依赖关系 RDD 分区计算 RDD 分区函数 ( PreferredLocations) (Dependencies) (Iterator) (Partitioner) ....... 55 .. ......... .... ...... ........... ...... ........ ......... 56 ..... 56 ..... 58 ...... ....... ....... ........... 58 创建操作....... ..…………………………………………………………………… … ………………………” 3.4.1 3.4.2 并行化集合创建操作....………………………………… …………… ……………………………………·” 外部存储创建操作............ ... . . ... . .. ..... ... ........ ... ....... . .. .. ... . . .. ... .. ............. . . . . ... .. .. ..... . ........刷 转换操作. • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 6 3 3.5.1 基础转换操作................ . ..... ... .. .. ... .................... . ............................................................63 3.6 3.7 3.8 第4 章 控制操作 行动操作 3.5.2 3. 7 .1 3.7.2 目录| XI 键值转换操作... ...... . ... ....… .. . . . ... . .. .. . . .. .. .. . .. … …… … …….......……….. . ....….................... . ....70 …………………………………………………………................................................... 77 ……………………………………………………......................................................... 80 集合标量行动操作. .. . . .….. .. .. .. .. . ... .. … .... .. .. .. .. .. .. ... . .. .. .. .. . .. ... . .. .. .. .. .... . . . ..... .. ... . .. . .. .. .. .. .....80 存储行动操作. ..... . . . ........ .. ... . .. .. .. .. .. .. .. .. . . .. . ... . ... . ....... . ... . ... . .. .. ............................... . .........84 小结.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 7 Spark 核心原理. ......……......... .. ... . .......……………………………………………………………………··” 4.1 4.2 4.3 4.4 4.5 4.6 消息通信原理…… …………………………………………………………………………………………·” 4.1.1 4.1.2 4.1 .3 AU -- A“丁 AYAYAY 信 构信通 架通息 营息肖, , , 通消时 息动行 消启运 LEALKALK VAV 且V且 narnaynar n、unδ 们δ 作业执行原理..... ... ... ... ............ .. ..... . . ....... . ......... . ......... ..... ..... ...... .................. . ......... . .1 02 4.2.1 4.2.2 4.2.3 4.2.4 4.2.5 4.2.6 4.2.7 概述. ... .. .. . . .. . .. .. .. .. . .... . ... . . .. ... ..... . ... . ........... .. ...... . ...…. . .. .. .. .. .. . ...…............ . .. . .. .. ... . .. . .. ... ... 102 提交作业.. .. . .. .. . ... .. ... . . ... .. . .. . . ... . .. ... . . ...... . ... . ... . ... . .. ... . .. ... . .. .. . ... . ... . ... . ...... .. .. .. . ..... ... . ........1 04 划分调度阶段.. ... . . . . . .. . .... . .. . ... .. .............. .. ... .. .. . ... .. . .. . .... . . ... .. .. . ... . . . .. ... .... . . ... . . . . .. .. .. .. . .. .. . 1 06 才是交调度阶段. ... .. .... . ... .. .. . ... .. ... .. . ... …... . .. ...... .. ... . .. . ..…...... . ... . ... . .. .. . .. .. . . ... .... . . . . .. .. .. ... . . . 109 才是交任务. ... .. ....... .. .. . ..... . ... . .. . ... . ... . ... .. . .... ....... .. .. . ... . .. .. ...... .. . .. .. ... .. . ... ..... . .... ... ... .. .. . ... . .. . 112 执行任务. . ..... . ...... .. .. . ..... ... . .......... . . .. . ... . .. . .... . ... .. ...... .. . .. ................. . ........... . .......... . ....... 11 7 获取执行结果. ....... .. ....... ... . . .. ... .. . ... . . .. .. .. . .. ........ . ..... .. ....... .. . .. ........ ..... . . .. .. .. .. .. ...... .. .. . ... 119 调度算法................................................................................... ..... ....... .. ....... . ........... 122 4.3. l 4.3.2 4.3.3 应用程序之间. ... . ...... . . .... . .... . .. .. . . . . . .. . ... . ... . .. .. . ... . ....... . ... ... . . ... . ... . .. .. . . . . . . .. . . ... ... . . . .. . ... . ... . . 12 2 作业及调度阶段之间.. ... . ... . ... . .. .. ... . ... . ... ..... .. ... ... . . . ....... . . .. . ... ... . .... . ... . ... . . .... . . . . .. . ... . . ..... 12 6 任务之间. . . .. .. ... .. .. .... .………….. . ............................... . . .. . .. . . .......... ...... ..... .. .. .. .. . .... .. ....... . . 130 容错及HA................................. ......... ... .................... ............. ...... ............. ................. 13 6 4.4.1 4.4.2 4.4.3 Executor 异常. .. .. .... .. ... ... . .. ... .. .. . ... .. .. ...... .. .. .. .. .. .......... . . .. . ........... . .......... . .. ....... . . .......... . . 136 Worker 异常. ' ....…............... .................…... .... ............ ........ .......... ........................... ...... 137 Master 异常... .. ... .. ...... . .... .... . ...... .. .......... . ....... . . ............................ .. .............. . ...... . . .. . ..... 13 8 监控管理......…....... . ......................... . .... . ...... . ................................... . .. .... .............. .... . 13 9 4.5.1 4.5.2 4.5.3 UI 监控. ... . . .. . .…. . ... .. … ... . . ..….. . ... . ... . .. .............. .. .. ...... .. ....... . ......... .. ... . . ... .. . . . . .. . .. .. . ...... . .. 139 Metrics ................. .................................................... ........ .............................................. 150 REST ........…...........…...... ....…….. .... ............................ .................……........……............. 152 实例演示..... . ...... . .... .... . . . ... . ...... .. . . . . . . . .. .... ... .. . . ...... .... .. .. . ..... . . ... . ... .. . ...... . ..................... 15 4 4.6.1 计算年降水实例...... . .. …. .. . .. .. .. ... . ... . . . . . .. . . . . . . . ... .. . ....... .. ... . . .... . .. . .. ... . .. . . . ... .. . . . ... . . . . . . ... .. ... 154 XII l 图解Spark :核心技术与案例实战 4.7 第5 章 4.6.2 HA 配置实例....................... . . . ................ .. .. .. .. . .. ...... .. .. ... .. .. . .... ... .. ..... .... ... .. ... ............ ... 15 7 小结.. . ................. .................. ........................... . ...... . ............. . ......................... . .... . .. . . .. 160 Spark 存储原理............…....... … ..... . . . ..... ... ........ . .. . . .. .... ... . ... .... .. . .. . ... . .. . ..... . . ........ . . . ... . ........ 161 5.1 存储分析........... .. ..... ........... ..... ......................... ....... ........... . ...................................... 161 5.2 5.3 5.4 5.5 5.6 第6 章 5 .1.1 5.1.2 5.1.3 5.1.4 5.1.5 整体架构... .. . .. .. .. ... ...... .. .. . .. . . .... . ... . .. .. ... .. .. ... . . .. .. .. .. . . . ... .. .. ... ... ... .. .... ... .. ... .. .... .. .. ............. 161 存储级别.. .. ................... .. .............. .. ... . ... .. ... . .... .. .. .. .. .. .... .. .... . .. .. ... ... ... ... .. ............. .. .... . . . 167 RDD 存储调用. . . . .. . ...... ... . . ... .. .. ...... . . . ... . ... . ..... . .. .. ... . ... .. ... .. .... . .... .. ... . .... .. ..... . ..... .... ..... . . . 168 读数据过程... .. . ... . ... .. . . ………. . ... .. .. .. .. .. ... .. ... . .. ... ... . .... . ... .. ... . . . .. ... .. . ..... . ..... .. ..... . ............. l 7 0 写数据过程..................................……........ .… . .. .. .. ... .. ... . ..... . ... .. .. ... .... . ...... . .... .... . … ... . ... 177 Shuffle 分析... .. . . ........ . ...... . . . ...................................... .. ......................................... .. .. . . 186 5.2.1 5.2.2 5.2.3 乐V 瓦U 句3 0000AV J 作作 。来。来 介写读 简的的 hmhemhem e σδn 飞unδ 序列化和压缩..... .... ... ............. .......................... ....................................... .............. .... 2 0 0 5.3.1 5.3.2 序列化.. .......................... .. .. . ... . .... . . ... .. ... .. .. ... .. . . ........ . ...... . .. .. ....... ... ......... ... .. ... ...... .. ... .. .2 0 0 压缩. . . .. . .. .. .. . ... .. .. . .......................................................... . .... . ............. . ... . .. .. ..... .. ..... .. . ... ..2 0 1 共享变量....................................................................................................................202 5.4.1 5.4.2 广播变量. . ... . .. .. .. .……… .. .. .. . ... ... . ... .. .. . ........ .. .. .. ... .. ... . ... . .... .. ... .. .. .... ... .. .... .. .. .... ..... .........2 0 2 累力口器.......................................................... ... ...... .. ....... .. ... .. ......... .. ... .... ... .... . ..... . ........203 实例演示....................................... . ............................... . ......... . .................................. 2 0 4 小结. ... .....…… . .... . . ... ...... . ........................ . ......................... . .................................... . .... 2 0 8 Spark 运行架构.......................................................... . ......................... . .............................2 09 6.1 运行架构总体介绍.... ............. ....... . ............................... . .. .... ................................... . ..20 9 6.2 6.3 6.4 6.1.1 6.1.2 总体介绍......... . .... . .......................... .. ... ... . .... . ... .. . ... .. ... . .... .. .. .. ..... . ... .. .. .. .... ... ... .... ... ..... ..2 0 9 重妥类介绍. .. ... . ....... . ... . ................... . .... .. .... . .. .. .... . . .... . . .... . ... .. .... . ..... . .. ... ... ... ... . . .. ... ..... . .2 l 0 本地( Local )运行模式.............................................. .. .............. .... ...... .. . ........ . .. . .. ..211 6.2. l 6.2.2 运行模式介绍...... .. .. . ...... … . . ............. .. ... .. ... .. . .. .. ... .. .. .. ... . ... .. .... . ... .. .... . .... . .... ... ..... . .... .. ..211 实现原理.. .. . . . . .. .. . ....................... . .. . ........... . ... . ... . ....... .. . . .. . .. . .... ... . .... ... .. ......... .. .. . . .. ....... . 2 日 伪分布( Local-Cluster )运行模式.............................. . .. . ............ ... ................ . .... . . .. .215 6.3.1 6.3.2 运行模式介绍. . . . . ........ . .. .. ... .... .. .. ............... . .. . .................... . .... .. ... .. ... .. .... . .... . ...... . ...... ...2 15 实现原理... . ... . .. .. ... .. .. .. . ... . ... . . ... . . . . .. ... .. . .. . ....... .. . . .... . ... . . . .. .. .... . . .. .............. .. ......... .... .. . . . . .2 1 6 独立( Standalone )运行模式. ... ... ........….......….......…….. . .............……............... . . . . .218 第7 章 6.5 '6.6 6.7 6.8 6.4.1 6.4.2 6.5.1 6.5.2 6.5.3 6.5.4 6.5.5 6.5.6 自录| 运行模式介绍...... .. ..... .. .. .. .. ... .. .. .. . .. . ... . ... . .. .. ... . .. .......................... . ... . .. . ... . .......... . ... . ..... .21 8 实现原理. ..... .. ..... .... .... .. ... . .. .. ... . ...... . ... . .. .. ... . .. ... . .…… . ... . ...…. . .. .. .…… …· ......... … ............219 y成N 运行框架.. .... . .. .... ... . ....... . .. ... . .. .. .. . ... .. .. . ... . .... . ..................... . ... . .. . ... .. ..... . .. .. .. . .. .. .22 0 YARN-Client 运行模式介绍.. .. .. .. . … …. ... . . .... . ... .. ..... .. ... . . ... .. . .. .. ... . ... . . .. .. ... . .. .. . .......... . .221 YARN-Client 运行模式实现原理. ... . ... . .. . .........…………………........ . ..…..... .. ..… ..... . .. .. .223 YARN”Cluster 运行模式介绍.... .. ...... .. ... . .. . ... .. . ... .. .. . ... . .. . ... . ... . .. .. ... . .. .. .. . ... . .. .. .. .. . .. . ... ..22 7 YARN-Cluster 运行模式实现原理....... . .. . ... . ... . .. .. .. . ... . ... . ... . ........................................22 9 YARN-Client 与YARN-Cluster 对比. . .... . .. .. .. .. .. . ... . .. .. ...... .. .. .. .. .. .. .. .. .. .. . ... .. . ... . . .. .. .. .. .. .23 2 Me sos 运行模式.................. ...... ... ....................... . ..... .. .... . . ... ... ... ..... ... . . .... ... .. . . . ..........2 3 3 6.6.1 6.6.2 6.6.3 6.6.4 6.6.5 6.6.6 Mesos 介绍......... . ..................................... .. .. .. .. .. .. .. .. . .. ... . .. .. . ... . .... . .. . .................. . .. .. .. . ..2 3 3 粗粒度运行模式介绍.. .. . ... .. ... . ... .. .. .. ... . ... . .. . .. ... .. ... . . .. ........ . ...... . ...... . ... . .. .. .. .. .. . .. .. .. . .. .. ..2 3 4 粗粒度实现原理.................................................................. . ............................. .. .........2 3 6 细粒度运行模式介绍.. . ............ . ... . .... . .. .. . .... . .. . ... ... . . ... . ... . ... . .. .. .. .. .. .. . .... ... .... ........ . . . . . ... .2 3 9 细粒度实现原理...... .. .. .. ... . ... .. ... . .. .. ... . ..... ..... . . ....... . .. ... . .. ........... . .. . ...............................2 4 0 Mesos 粗粒度和Mesos 细粒度对比.... . ...... . ................................................................2 4 3 实例演示........ ............................... .. ...... .... .... .... .. ....... ... ... ... .... ... . . .... ... .... ... ... .. ........ . ..24 3 6.7.1 6.7.2 6.7.3 独立运行模式实例....................................... .. .. ... . . .... . ... . .. . ... . ... . ...................................2 4 3 YARN-Client 实仔•J ...……………………………….......................................................... ....... 24 7 YARN-Cluster 实例.. ... . .... . .. .. ... . ... .. . . . . .. .. .. .. . . . . . ... .. .. . ... . ... .. .. . ... . ... ... . . .. .. .. .. . ... . ........... . ... .2 5 0 小结.. ...... .... ... .................... ........ ... ............ . ....................... .. ........ .. .... .. ....... .. ............ . ..2 5 3 第三篇组件篇 Spark SQL ..………............................................................................................................... 2 5 5 7 .1 Spark SQL 简介........................ .. .......................... . ...... ... ... .... .... ..... .. .... .... ..... .. ... ... .. ...2 5 5 7.2 7.3 7. I. I 7.1 .2 Spark SQL 发展历史.. .. ... .. ... . ..... . . .. .. .. ... . ....... .. .................. . ....... . .............. . ... . ...... . .. .. .. ..2 5 5 DataFrame/Dataset 介绍............... . ... .. ...... .. .. .. .. . .... . ... . ... . ..............................................2 5 8 Spark SQL 运行原理........ .............. .. . . .. .... .... .... ... . . .... .. . . ... . . .. .................... ... .... ... ...... . .2 61 7.2. l 通用SQL 执行原理. .. .... . ..…....... . ... .. …·.. . ... .. .. .. .. ... ...... ... .. ... . ... . .. .. ..... ... . .. .. . ... . ... .. .. . ... . ..约1 7.2.2 7.2.3 7.2.4 SparkSQL 运行架构.. .... . . . . ... ….. .. ... .. .. .. .. .. .. . ... .. . .. ... .. .. .. . . . .. . .. .. .. . .. .. . ... ... . . ... . ... . ....... . ... . ..2 6 2 SQLContext 运行原理分析...... ... .... .... ... . ... . . ................ . ........ . .. . ... . ... . ...... . ........... . ...... ..2 65 HiveContext 介绍........ ... ... . .. ... .. . ... .. . ... ... . .. ...... . ... .. .. .. ... . ... . .. .. .. . ... ... . .. .. .. . ... . ... . .. .. ... . ... . ...2 7 6 使用Hive-Console ................ .......... ............................... ..... ... ................. ... ................ 278 XIII XIV l 图解Spark :核心技术与案例实战 第8 章 7.4 7.5 7.6 7.7 7.8 7 .3.1 编译Hive-Conso le . … . .. . ....………......………....... . ......….......…..... . .... . ......……….. .. ....…....278 7.3.2 查看执行计划. .. .. ....…… … . . .....… … …….. . ......................... . ......... .. ..................................2 8 0 7.3.3 应用Hive-Console. ….. . .. . . . .. .. . ... ... . .. .... ... ... . ... . .. .. ... . ......... . ......... .... ..... .. . .. ... .. ... .. ............2 8 I 使用SQLConsole ............ ............ ........ .. ...... .... .. .......... ... .............. ............. ................. 284 7.4.1 启动HDFS 和Spark Shell ......... .............. ..... ........ ............................... ........................ 284 7.4.2 与RDD 交互操作.. . ... .. . .. ....... . ... ... .. . ... . .... .. .. .. .. .. ... .. . . . ... .. .... . . .. . .... ..... . ... .. ... ... ... .... .... .....284 7.4.3 读取JSON 格式数据.. . ... .. .. ....... .. .. . ..... . ... . ...................... . ...................... . ......................2 8 7 7.4.4 读取Parquet 格式数据... .. .. ... . .. .. ... .. ... .. .. ... . .. ... . .... . .... . ............................ . .....................2 8 8 7.4.5 缓存演示. ... . ....... .. .. ... . .. .. .. .. .. .. .. . .... . ... .. .. ... ... .. .. .. . . . ... ... . .. .... . ......... . ..... .. ... . ......................2 8 9 7.4.6 DSL 演示... . .. .. ... . .....……………........................................... . .. .. .......... .. ........... .. . .. .......... 2 9 0 使用Spark SQL CLI .............................................. .... .......... ....... ..... ........ .............. .... 290 7.5.1 7.5.2 配置并启动Spark SQL CLI ...………………………………………………………………………….. 291 实占戈Spark SQL CLI ....... .... .... ..... ...................................... ..... ................. ..................... 292 使用Thrift Server ................................................................................ .. ...... ...... ......... 293 7 .6.1 7.6.2 7.6.3 7.6.4 自己置并启动Thri位Server ....... ..... .... ................... ..... ..... .......... ............. .............. ........... 293 基本操作. .. . ... . ........ . ... . ... . ... . ... .. .. .. .. ........ . .... . .. .. ... .. ... ... .. .. ... ... .. ... .. ..... ... .. . . . ..... .. ... . ... ... ...2 9 5 交易数据实例. .. ... . .. .. .. ... . ... . ... .. . ... .. .. ... .. ... . ... . ............... . .... . ................ . ..........................2 9 6 使用IDEA 开发实例.. ... . ...…. . .... . .. .. ... ... .. .. . ..... . ... ... .. .. ... . .... .. ... .... . .. .. . . ... .. . .. ... . . . ..... . . .. ...2 9 8 实例演示. .... ...... ... ..... . ......... .. ...... .. ..................... . ........... . . . . .. ...................... . . . ..... . .......2 99 销售数据分类实例. ... . 7. 7 .1 ... .. . .. ... ... .. . .. . ..... . ... . ... . ................................................................2 99 7.7.2 网店销售数据统计. ........ . .. . .... . ... . ... .. . ..... . .. . .............. . .... .. ... . .... ... .. ... .... ... .... .... ... ....... ... .3 0 3 小结............ . ........ . ...... ... ..... ... ... .. . . ... . ... . . ... . ... ... . . . . ... . . .... . . . . ..... ... . ....... . . . . . . . . .. ..... . ...... . ...3 0 6 Spark Streaming ............................. ............... ............... .. .............. ...... .............................. 308 8.1 Spark S位earning 简介................................ .. ............. . .... . . ....... . . .. . ....... . . .. . ... . ......... .. .. ..3 08 8.2 8.3 8.1.1 8. 1.2 术语定义. ..................................................................... . ................. . .... . .......... . . . ....... . ....3 09 Spark Streaming 特点. ........ . .. .. .. ... .. ... .. ... .. .... . .. .. ... . .... . .. ... ... .... ... .... .. ... . .. ... .... .... ... ...... ...312 Spark S位earning 编程模型... . ....................... . .......... . ...... ............ . .... ........ ............ . .... .. 314 8.2.1 8.2.2 DS甘earn 的输入源.......... . ................. .. ............... ... . .. ... .. ... ... ... .. ................ .. ... .. ..............314 DStream 的操作...... . ....................... .. ...... .. .... . . .. ..... ... ............. .... ................... .... ............315 Spark Streaming 运行架构........ .. ............ .. . .... ................. . ............... . ............... . ... . ...... 3 1 9 8.3.1 8.3.2 8.3.3 运行架构. . . .. ... . ............... .. .. .. ........... ... ................. ... .......... .. ................ . . .. ....... ... .............31 9 消息通信.. .. .. ........... . .. .. ...... . ............. . .. .. .. .. ......... .. .................. .. .. .. .... .. ... .. ....... .. .............32 0 Receiver 分发. .. . ... . .. . . . ... . .. .. . . . . . ........ ..... ... .. ... . .......... . .... . ............ . ..... ... ... .. ......................3 23 第9 章 8.4 8.5 8.6 目录| 8.3 .4 容错性.... . .....…...... .…… ... .. . …… …… ……… .. ... . . …· · … . .. .. .. .. .. .. .. . . .......... .. .. . .. ..... . ... .. . . ...... . . 3 2 9 Spark S仕earning 运行原理·· · · · · · · · · · · · · · . · . · · .. · .................................................................. 3 3 I 8.4.1 启动流处理引擎... ... .... .. .. ... . ... . ...... .. .. .. . ... .. . .. .. .................. . ... . .. . .. . .... . ......... . ... . . ...... . ......3 3 I 8.4.2 8.4.3 接收及存储流数据.... . .... . . ........ . ... . .........…….. .. ....... . .. .. . ... .. . . .. ... . .. .. .. . .... ........ . . .. ... . .. . .. .. 3 3 4 数据处理. ... .. ... ... . . . .............. . .. .. ....... . .... . . .. .. .. .. .. . ....... .. .. . .. . ........... . . ... .. .. . .. . .....................3 41 实例演示..... .. .... . ...…............. . ...............….... .. ............ .... ... .. ...... . ...... . .........................34 6 8.5.1 8.5.2 8.5.3 流数据模拟器.. ... .... .. .... . ... .. .. .. . .... .. . .. .. ... . .. .. .. .......... . .. . ........... . .. .. . ... . ... . .. . ... . .. . .. .. .. . ...... ..3 4 6 销售数据统计实例............. . ... .. . . ............ . ... .. . .......... . .. .. .. .. .. . ....... . .. .. .. . .. ... . .. .. .. .. ..... .. .. . ..3 4 8 Spark S甘earning+Kafka 实例.... . .............................. . .. .. .. . ... . ............. ... .. ......... .. ...... . .. .. 3 5 I 小结.......... .... ..... ....... . . . ................... . . . ...... .. .................... .. ........................................... 3 5 6 Spark ML Ii b ........................................................................................................................ 3 s 8 9.1 Spark MLlib 简介............................. .... ... .. ....... ... .......... ... ...... ... .................. . .... . .........3 5 8 9 .1.1 Spark MLlib 介绍...... . . . .. ... .. .. . .. ............ . .. . .. .... . .. . .......... .. ...... ..... ... . ......... .. . ... . ... . . ... .. .... .3 5 8 9.2 9.3 9.4 9.5 9.6 9.7 9.1.2 9.1.3 9. 1.4 Spark MLlib 数据类型.. .. .. ... .. .. .. .. .. .. . ... ... . ... . .. .. . ... . ... . ....... . ....... . .. .. ......... . .......... . ... . .. . ....3 60 Spark MLlib 基本统计方法... .. .. .. .. .. . ... .. .. .. .. ... . . ....... . .............. . .. ... .. . ... . .................... . ... .3 6 5 预言模型标记语言... .. .. ... . .. .. ... .. .. .. .. .. .. .. . ... ... ..... .. .. ............. . ... .. ......... .. ... . .......... . .. . ... . .. .3 6 9 线性模型.......................................... . ......................................................................... 3 7 0 9.2.1 9.2.2 9.2.3 9.2.4 9.2.5 9.2.6 数学公式... ... .. . ... .. ..... . . … . .. ... ... .. . ... ..….. . .. .. . ... ..... ... .. . ... . .. .. .. .. .. . ... ... ..... . ... . . . . .. .. . .. .. ... .......3 7 0 线性回归.... . ... .. . .. . . .. .. .... . ........... . ... . ... . ....... . ........ . ...... . ....................... . .. .. .. . ... . ... . ... . ... . .. ..3 7 I 线性支持向量机. .. .. ... . ... .. .. ... .. .. .. .. .. .. . ... .. ... . .. .. .. . ............... . .......... .. .. . ................... . ........3 7 2 逻辑回归.... . ... . ... . . . .. .. .. . .. .… .. ... .. .. .. .. .. ... . .. ... . ... . .. . ... .. . ... .. .. .. . .. .. .. ... . .. .. .. ... . . .. .. ... . .. .. . .. .. .. . ..3 7 3 线性最,j 、二乘法、Lasso 和岭回归........... . .... . .. .. . ... . .. .. .. . ... .. .. .. ... . . .. .. .. ...... . ....... . ..... . ...3 7 3 流式线性回归.. ... . . . . … … ……….. . ... . ... ... . . ... .. ... . ... . . .. .. .. ... .. . ... . .. ... . .. ......... .. .......... . .. . .........3 7 3 决策树.... ...... ..... ....... . . ......... ... . . ....... .... ... ..... ... .............. . ............................................. 3 7 4 决策模型组合.............. ... .................. ..... .... . . . .............. .. .... ..... ... . ....... .. .......................3 7 5 9.4.1 9.4.2 随机森林.. . . .. .. ......... . ....... . .. .. .. . .. ... .. .. .............................. .. . .......................... . ... . ... . .. .. .. . ..3 7 6 梯度提升决策树.... . ......... . ... ... ...... . ... . ... . ... . ... . ... . ... .. .. . .. .. .. ... . .. .. .. .. ... . ... . .................... .. ... 3 7 7 朴素贝叶斯............................ ...... .. ...... .... .... .... ... ...... .. .... .................................. . ..... ...3 77 协同过滤. ...... ... ....................... .... .... .... .... ................ . ..... .. ................................... .. ......3 7 8 聚类...... ......... ..................... . . . ........ . ........ . ..... . ................. . ..... .... ............ . .....................3 8 0 9 .7. I 9.7.2 9.7.3 K-means .... .............................. ............................ ..... .................................. .... ............... 380 高其斤混合... . .... . ….............. .. .. ..... . ...... . . . . .. ... ...... ... ...... ... . … . .. .. .. .. ... . . ... . .. .. ..…..... . .. ... . . .... . .3 82 快速迭代聚类. ....... .. . ... .. ... .. . ... .. .. ... .. . ... . ... .. . ... . .. .. .. ... . ... .. .............. . ...... . ........... . ... . ...... .. .3 84 xv XVI |图解Spark :核心技术与案例实战 第10 章 9.8 9.9 9.10 9.11 9.12 9.7.4 LDA ..….... ...................................................................................................................... 3 84 9.7.5 二分K-means ...... .... ........ ............. .... ...... ....... ............................. ............ ............. .... ..... 385 9.7.6 流式K-means ..................................................... .............. ................................... ......... 386 降维..... 386 9.8.1 奇异值分解降维.. ... . . . . . ...…........ . …...... ... .. . ... . ... .. ... .. .. .. . . .... . .. . ....... . ..... ... . . . .. ... .. .. ...... . . .. .3 8 6 9.8.2 主成分分析降维.. .. .. .. .. . ... . .... . ... . ... . ... . .... .. .. ... .. .. . .... . .... . ...... . ..... . ............................. . .... . .3 8 7 特征提取和变换...............…. ....... .. ...... .. .. . ...... . . ... . . .... ..... .. . . .. ... . ..... ........ . .. ..... .. ... ... . .. . 3 8 8 9.9.1 9.9.2 9.9.3 9.9.4 词频一逆文档频率. ... . .... . .. . ... . .... . ....... . ........ .. ... . ...........................................................3 8 8 词向量化工具. .... . .. .. .. .. ... . ... . .. .. .. .. ... .. .. . ... ... .. .. ... ... .. . .... .. .... . ... .. .... . ........... . .....................3 8 9 标准化. .. .. .. . .. .. .. ... . .. .. .. . .... .. .. . ...... . ................................................................. . .............. ..3 9 0 范数化...... .. .. ... . ................. . . . .... . .. .. ... . ........ . ........ . ........ . ......... . ...................... ... ..... . . ... ....3 9 0 频繁模式挖掘.. .... ... . …...... .……. . .. .. …. . . ... ........ .. ........... . ............... . . . ..... . ... . .. . .... . ..... . .3 91 9.10.1 9.10.2 9.10.3 频繁模式增长. . .. .. .. .. .. ... . . .... .. . .. ... . ... . .... . ... . .... .. .. ..... . .. .. .. . .... . ..... . ............................ . .....3 91 关联规则挖掘.. .. .. .. .. .. .. .. . . . . ... . . ..... . . . . .. . .. ... ... . ............. . ..... . .. . . . ... . ........................ . ..... ....” l PrefixSpan ............………................. ......... ......... .......... ...... ..... ......... ...................... ....... 3 91 实例演示... .. . . ... ……. .. ... … …….. ... .… … ….... ..… …. .. . ...… ….... ..…. ... .. .…… . . ......………….392 9.11 .l 9 .11.2 K-means 聚类算法实例....... . ....... . ......... . .. . ….. . ... . ..…… … ... .. ...…... . .... .. ..... .. ...… .. ........3 92 手机短信分类实例................................................................................................. . ...3 9 6 小结........................... . ................. . ...... .... ........ .. ......... ...... .. . . .. . ................... . ..............40 1 Spark GraphX .........................................…………...............….........……………..... .. ..…….... 402 10.1 10.2 10.3 10.4 GraphX 介绍..... ... ...... . ....... ... .... . . ... .... ..... . . . . .. .. . .. ....... ......... ...... . .. . .. ...... ................... . .402 10.1.1 10.1.2 10.1.3 图计算.. . ... . ..… . . . . . . . ... .. .. . ... . ........ . ... . .... . .. . . . . . . . . .... . ........ .... .. .. .. .... .. ... .. ..... . ... . ..................40 GraphX 介绍. .. .. ... . … . ... . .. . .... . .... . ... . ............. .. . .. ............. . .................. . .. . ...... . ................40 发展历程.........…........................... . ............. . ... . .................................................. . .... ....40 2 3 4 GraphX 实现分析..... . ........ . ....................................... . ...................... . .. . ............... .. . ..40 5 10.2.1 10.2.2 10.2.3 10.2.4 GraphX 图数据模型........ .. .. .. . . . .. ... .. . …… . . ... ..…. .. .. .. .. ... .. ...... . ..... .. ... .. .. .. ... .. ...... .. ....... .40 6 GraphX 图数据存储...................................................................................... .... ...... ...40 8 GraphX 图切分策咯.. .. . ... .. .. .. . ... .. .... .. . . ...... .. .. .. . ... . ... . .... .. ..... . ..... .. .... .. .. ... .. .. .... . ........ . ..41 0 GraphX 图才桑作... . .. .. ... . .. .. ...... . .... .. ..... . ............ . .. .. . ..... . . .. . . ..... .. . . .. .... ... . ....... . ............... .412 实例演示........... . ...... .. ....... . .... . . . ................. . . . ............. .. ............. . ..............................418 10.3.1 10.3.2 图例演示. ........... . ....... . ...... . .... . ... .. ..................... .. ... . ......... . ..... ...... .. ... .. .. .. ............... ... ..418 社区发现演示. .. . ... .. .. .. .. . ... .. .. . ..... . ...... ... .. . .. . ...... .. . ... ... . .... . ...... . . .... .. ... .. .. .. .. .. ................4 2 5 小结.. . . . ..… ... .... … …… . ........……. . ....… . ......... . ....…··… .. . .. ....... . . ……… … … . .. .... .…… . .. ...429 第11 章 第12 章 目录| SparkR ... ..............………................................................................................................... 430 11.1 11 .2 11 .3 11.4 11.5 概述.............. . .... ... .. . . . .............................................. . ..................... . ............... . ..... . ....4 3 0 11 .1.1 11 .1.2 R 语言介绍..... .. .. .. .. .. .... .. .. .. ... .. ... . .. . ... .. .. .. .. .. ... . .. . ... ... . ... . .. ... . ........... . . .. ...... .. .. . .. .. .. .. .. . ..4 3 0 SparkR 介绍... .... . . ... ... ... .. .. .. .. ... .. . ... .. ...... . ................... . ........ . ... . . . .... . ... . .. . ....... . ... . ...... . .础l SparkR 与DataFrame ...................................................................................... .... ..... 4 3 2 11.2. l 11 .2.2 DataFrames 介绍............................ .. ..... .. ....... . ....... .. .. .. . .. ...... .. . . . . .. . ... . .. .. ....... . . ... .. . ... . ..43 2 与DataFrame 的相关操作........ ......... ... ....... . .. .. .. .. .. .. .. .. .. . .. .. .. .. ... ...... . .. .. ........ ... ... . . ... . .434 编译安装SparkR.................................................................................................. .... 435 11 .3 .1 11 .3.2 11 .3 .3 11 .3.4 编译安装R 语言..... . ......................................................................................... . ...... .. .4 3 安装SparkR 运行环境.............. .. ...... .. .. .. .. . .... . ....... . .. .. .. .. .. .. . ... .. .. ... . . ....... .. .. .. . .. ..........43 安装SparkR ...... .................... ......... .... .... ... ..... ............. ....... .... ........ .... ........ .... .... ......... 43 启动并验证安装...... . .... . ....... . .... .. .. . ................ .. . .. ... . .. .. ... . ...... .. ....... . .. .. . ... . .. .. .. .. . ... . ... . .43 5 7 8 9 实例演示...... ...... ....... ..... . . ..... ..... ..... . . . . . ... . .. . ........ . ...... ... ..... ... ..... ... ... . ................ .. ......440 小结.......................... .. .. . .... . ... ... ....... . ......... .. ..... .... ..... .... .... ..... ... ... ..... .. .... ... .... ... .... ...444 Alluxio .................….........…...........................………………………….. ... ....…..... ..... ................ 44 5 12.1 12.2 12.3 12.4 12.5 Alluxio 简介........................ . .......... .. ........ ... .. .. . ........ .............. . ......... . ..................... . .44 5 12.1.1 12.1.2 12. 1.3 Alluxio 介绍... . ......... .. ... . ... .. .. . . . . .. ... .. .. ... . .. .. ... . ... . ... .. .. . ... .. . ... .. . .... . .. . ... ..... ... . ... . .. ... . .. .....44 5 Alluxio 系统架构......... . .... . ... . ........ . ... .. .. . ... . ............ . ... . .. .. ....... . ....... . ....... . ... . .. .. .. .. .. ... . .44 6 HDFS 与Alluxio..……... ......….... ........ ..... ........ .... ........ .... ............................................ 450 Alluxio 编译部署... .... . .. … . . . . ...... .. ....... . ................................... . ..... . .............. ..... .... ...4 5 1 12.2.1 12.2.2 12.2.3 编译Alluxio ........................... ............. .... ........ ........ .... .... ..... ... .... ................................ 451 单机部署Alluxio ................................................ ...... ..... ..... ... ..... ........... ................... .. 453 集群模式部署Alluxio ..…………………………...... .................................... ..... ... .... .... ...... 4 5 5 Alluxio 命令行使用.. .............. . ......................... . ................................ . ....... . ...... . .... ..4 5 7 12.3.1 12.3.2 接口说明.... . ..... .. ...... . ..... . . ............ . .. .. .......... . ........ .. ... . ... . .............. . ... . ....... .. .. .. . .. .. .. . .....45 7 接口操作示例. ... .. .. .…………………………………………………………………………………..... .459 实例演示............................. . . . .......... . ..... . ................... . .............................................46 2 12.4.1 12.4.2 12.4.3 启动环境... .. . . .. ... ...... .. .. . . ... . .. ... ...... . ... . ... . ... . ... . ... .. .. . ........ . ... . ... . ... . ... . ... . .. .. .. .. . .. .. . ... ..... . .4 6 2 Alluxio 上运行Spark.............. .................................. ............................ ............... .... ... 46 2 Alluxio 上运行MapReduce .. ..... .... .... .... ..... ... ......... ..... ....... .... .... ................................ 46 5 小结…………………………………………………………………………………………………………·“6
...展开详情收缩
2018-05-16 上传大小:97.36MB
想读
分享
收藏 (1) 举报

评论 共2条

spd1987 内容还可以
2018-12-20
回复
wangminglong1989 图解Spark核心技术与案例实战_PDF电子书
2018-06-16
回复
图解Spark核心技术案例实战.pdf 完整高清扫描版

以Spark 2.0 版本为基础进行编写,全面介绍了Spark 核心及其生态圈组件技术。主要内容包括Spark 生态圈、实战环境搭建、编程模型和内部重要模块的分析,重点介绍了消息通信框架、作业调度、容错执行、监控管理、存储管理以及运行框架,同时还介绍了Spark 生态圈相关组件,包括Spark SQL 的即席查询、Spark Streaming 的实时流处理应用、MLbase/MLlib 的机器学习、GraphX 的图处理、SparkR 的数学计算和Alluxio 的分布式内存文件系统等

立即下载
图解Spark Shuffle的发展历程
图解SparkContext创建过程
图解spark sql解析过程
【备忘】《图解Spark 核心技术与案例实战》PDF
图解Spark内核架构
图解Spark 核心技术案例实战-pdf

本书以Spark 2.0 版本为基础进行编写,全面介绍了Spark 核心及其生态圈组件技术。主要内容包括Spark 生态圈、实战环境搭建、编程模型和内部重要模块的分析,重点介绍了消息通信框架、作业调度、容错执行、监控管理、存储管理以及运行框架,同时还介绍了Spark 生态圈相关组件,包括了Spark SQL 的即席查询、Spark Streaming 的实时流处理应用、MLbase/MLlib 的机器学习、GraphX 的图处理、SparkR 的数学计算和Alluxio 的分布式内存文件系统等。本书从Spark 核心技术进行深入分析,重要章节会结合源代码解读其实现原理,围绕着技术原理介绍了相关

立即下载
图解Spark:核心技术案例实战

《图解Spark:核心技术与案例实战》以Spark 2.0 版本为基础进行编写,全面介绍了Spark 核心及其生态圈组件技术。主要内容包括Spark 生态圈、实战环境搭建、编程模型和内部重要模块的分析,重点介绍了消息通信框架、作业调度、容错执行、监控管理、存储管理以及运行框架,同时还介绍了Spark 生态圈相关组件,包括Spark SQL 的即席查询、Spark Streaming 的实时流处理应用、MLbase/MLlib 的机器学习、GraphX 的图处理、SparkR 的数学计算和Alluxio 的分布式内存文件系统等。, 《图解Spark:核心技术与案例实战》从Spark 核心技术进行

立即下载
图解Spark API
图解Spark-核心技术案例实战

图解Spark 核心技术与案例实战 完整版,扫描版,清晰版, 郭景瞻编著

立即下载
图解Spark核心技术案例实战_PDF

第1章 Spark及其生态圈概述 1.1 Spark简介 1.1.1 什么是Spark 1.1.2 Spark与MapReduce比较 1.1.3 Spark的演进路线图 1.2 Spark生态系统 1.2.1 Spark Core 1.2.2 Spark Streaming 1.2.3 Spark SQL 1.2.4 BlinkDB 1.2.5 MLBase/MLlib 1.2.6 GraphX 1.2.7 SparkR 1.2.8 Alluxio 1.3 小结 第2章 搭建Spark实战环境 2.1 基础环境搭建 2.1.1 搭建集群样板机 2.1.2

立即下载
图解Spark 核心技术案例实战 项目代码及数据

图解Spark 核心技术与案例实战 清晰版,包含了书中设计到的所有项目代码已经项目测试数据

立即下载
图解Spark Transformation算子
图解Spark 核心技术与案例实战_郭景瞻编著.pdf 免费下载
图解Spark核心技术,高清带目录下载
图解Spark++核心技术案例实战

1) 大数据爱好者 随着大数据时代的来临,无论传统行业、IT行业以及互联网等行业都将涉及到大数据技术,本书能够帮助这些行业的大数据爱好者了解Spark生态圈和发展演进趋势。通过本书可以了解到Spark特点和使用的场景,如果希望继续深入学习Spark知识,该书也是很好的入门选择。 (2) Spark开发人员 如果要进行Spark应用的开发,仅仅掌握Spark基本使用方法是不够的,还需深入了解Spark的设计原理、架构和运行机制。在本书中将深入浅出地讲解Spark的编程模型、作业运行机制、存储原理和运行架构等内容,通过这些内容的学习,可以编写出更加高效的应用程序。 (3) Spark运维人

立即下载
Spark 入门实战之最好的实例
图解spark:核心技术案例实战

图解spark:核心技术与案例实战图解spark:核心技术与案例实战图解spark:核心技术与案例实战图解spark:核心技术与案例实战图解spark:核心技术与案例实战图解spark:核心技术与案例实战图解spark:核心技术与案例实战图解spark:核心技术与案例实战图解spark:核心技术与案例实战图解spark:核心技术与案例实战图解spark:核心技术与案例实战图解spark:核心技术与案例实战图解spark:核心技术与案例实战

立即下载
图解Spark 核心技术案例实战_郭景瞻编著

以Spark 2.0 版本为基础进行编写,全面介绍了Spark 核心及其生态圈组件技术。主要内容包括Spark 生态圈、实战环境搭建、编程模型和内部重要模块的分析,重点介绍了消息通信框架、作业调度、容错执行、监控管理、存储管理以及运行框架,同时还介绍了Spark 生态圈相关组件,包括Spark SQL 的即席查询、Spark Streaming 的实时流处理应用、MLbase/MLlib 的机器学习、GraphX 的图处理、SparkR 的数学计算和Alluxio 的分布式内存文件系统等

立即下载

热点文章

img

spring mvc+mybatis+mysql+maven+bootstrap 整合实现增删查改简单实例.zip

资源所需积分/C币 当前拥有积分 当前拥有C币
5 0 0
点击完成任务获取下载码
输入下载码
为了良好体验,不建议使用迅雷下载
img

图解Spark核心技术与案例实战_PDF电子书,文字版

会员到期时间: 剩余下载个数: 剩余C币: 剩余积分:0
为了良好体验,不建议使用迅雷下载
VIP下载
您今日下载次数已达上限(为了良好下载体验及使用,每位用户24小时之内最多可下载20个资源)

积分不足!

资源所需积分/C币 当前拥有积分
您可以选择
开通VIP
4000万
程序员的必选
600万
绿色安全资源
现在开通
立省522元
或者
购买C币兑换积分 C币抽奖
img

资源所需积分/C币 当前拥有积分 当前拥有C币
5 4 45
为了良好体验,不建议使用迅雷下载
确认下载
img

资源所需积分/C币 当前拥有积分 当前拥有C币
15 0 0
为了良好体验,不建议使用迅雷下载
VIP和C币套餐优惠
img

资源所需积分/C币 当前拥有积分 当前拥有C币
5 4 45
您的积分不足,将扣除 10 C币
为了良好体验,不建议使用迅雷下载
确认下载
下载
您还未下载过该资源
无法举报自己的资源

兑换成功

你当前的下载分为234开始下载资源
你还不是VIP会员
开通VIP会员权限,免积分下载
立即开通

你下载资源过于频繁,请输入验证码

您因违反CSDN下载频道规则而被锁定帐户,如有疑问,请联络:webmaster@csdn.net!

举报

  • 举报人:
  • 被举报人:
  • *类型:
    • *投诉人姓名:
    • *投诉人联系方式:
    • *版权证明:
  • *详细原因: