没有合适的资源？快使用搜索试试~ 我知道了~

文库首页开发技术其它02Spark编程模型和解析

02Spark编程模型和解析

Spark

需积分: 31 1 下载量 19 浏览量 2016-12-13 15:01:19 上传评论收藏 1.5MB PDF 举报

温馨提示

试读

41页

02Spark编程模型和解析

资源推荐

资源详情

资源评论

stockholm-java-meetup-java-spark-demo:来自 2014 年 12 月斯德哥尔摩 Java 聚会的 Spark 微网络服务的代码示例

斯德哥尔摩 Java 用户组会议演示文件该存储库包含于 2014 年 12 月 11 日在斯德哥尔摩 Java 用户组会议上进行的演示中使用的代码示例。简单的例子 ...用于创建控制器的简化编程模型语法糖美化 Spark

dsc-4-39-06-building-recommendation-system-als-pyspark-seattle-ds-career-040119

HadoopLearning:大数据学习教程

大数据处理流程.pdf

Spark：尽管MapReduce和Hive能完成海量数据的⼤多数批处理⼯作，并且在打数据时代称为企业⼤数据处理的⾸选技术，但是其数据查询的延迟⼀直被诟病，⽽且也⾮常不适合迭代计算和DAG(有限⽆环图)计算。由于Spark具有...

Java及大数据学习路线.pdf

全⽂检索+⽇志搜集+数据可视化ELK 多范式编程语⾔Scala SparkCore/Spark SQL/Spark Streaming/Spark mlib Spark内核和优化 JVM/JUC python 数据结构⼤数据框架Flink 3 Java基础图谱 4 软件开发介绍软件开发软件，...

FusionInsightHD华为大数据平台.pdf

MapReduce是⼀种简化并⾏计算的编程模型，名字源于该模型中的两项核⼼操作：Map和Reduce。Map将⼀个作业分解成为多个任务，Reduce将分解后多个任务处理的结果汇总起来，得出最终的分析结果。如图所⽰，MapReduce...

SparkSQL 笔记 01

Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。与HiveSql的区别：Hive SQL是通过转换成MapReduce任务，然后提交到集群上执行，简化了编写...

数据科学与大数据技术是学什么.pdf

有较强的计算机系统的认知、分析、设计、编程和应⽤能⼒; 6.掌握⽂献检索、资料查询的基本⽅法、能够独⽴获取相关的知识和信息，具有较强的创新意识; 7.熟练掌握⼀⻔外语，能够熟读该专业外⽂书刊。拓展阅读：数据...

Qt 5实现串口调试助手（源工程文件、0积分下载）

5星 · 资源好评率100%

基于Qt 5实现串口调试助手，程序仅供参考，修改了之前十六进制接收0xA0--0xFF有误的问题，新增了窗口自适应（ui文件设置栅格），文件详情可看博客链接https://blog.csdn.net/m0_51294753/article/details/121405661。

【SystemVerilog】路科验证V2学习笔记（全600页）.pdf

5星 · 资源好评率100%

SystemVerilog的听课学习笔记，包括讲义截取、知识点记录、注意事项等细节的标注。目录如下：第一章 SV环境构建常识 1 1.1 数据类型 1 四、二值逻辑 4 定宽数组 9 foreach 13 动态数组 16 队列 19 关联数组 21 枚举类型 23 字符串 25 1.2 过程块和方法 27 initial和always 30 func

AutoSAR标准协议4.2.2

5星 · 资源好评率100%

AutoSAR标准协议规范4.2.2，里面包含了AutoSAR组织所规定的AutoSAR架构的标准规范协议原文档。对AutoSAR的学习有一定的借鉴意义

光伏-储能并网系统仿真.rar

5星 · 资源好评率100%

该文件是清华大学储能课的期末大作业。用SIMULINK搭建了一个完整的光伏-储能并网系统。我的博客中介绍了系统实现的具体方法，欢迎查看！

NPPJSONViewer.zip

4星 · 用户满意度95%

NodePad++ JSON格式化插件

GD32替换STM32注意事项.pdf

XCP协议的规范文档

5星 · 资源好评率100%

XCP协议的原规范文档，主要包含了Part1-5共5个部分，其中第三部分又分为CAN、以太网和Sxl等。对于XCP协议的开发者和学习者有借鉴意义

VS2015安装证书，JavaScript_ProjectSystem.msi，JavaScript_LanguageService.msi

3星 · 编辑精心推荐

vs2015.iso包安装，不然会卡在安装包丢失或损坏

CANoe通过CAPL脚本实现自动测试

现在汽车行业用vector的工具进行自动测试，但是该自动测试模板很少，本案例是分享CAPL脚本自动化测试的模板，和自动控制测试步骤的XML模板，使用过程可以通过本人分享的文档来实现工程的建立到自动测试的完成。通过CAPL脚本+XML控制测试步骤，实现自动测试，生成测试报告。

蓝牙BLE协议中文版.pdf

蓝牙BLE协议中文版，帮助初学者更快掌握协议内容。协议为SIG官方协议的中文版，所有协议内容均与英文原版协议内容保持一致

BaiduOCR.zip

5星 · 资源好评率100%

按键精灵百度文字识别自定义库使用说明参考：https://blog.csdn.net/sinat_22215253/article/details/118272746

AD20官方中文教程.pdf

官方提供的入门教材，其中重点讲解了一个简易电路板的开发过程，从元器件的选择，元器件的布置，到最后的产品输出，比较完整的一个实例，适合初次使用软件的开发人员使用。

七参数坐标转换工具（可在WGS84、北京54、西安80、CGCS2000坐标系中任意两个转换）

七参数坐标转换工具（可在WGS84、北京54、西安80、CGCS2000坐标系中任意两个转换），也可以自定义参数转换

电路分析基础第二版PDF电子书免费下载

5星 · 资源好评率100%

《21世纪高等院校信息与通信工程规划教材：电路分析基础（第2版）》以电路理论的经典内容为核心，以提高学生的电路理论水平和分析解决问题的能力为出发点，以培养“厚基础、宽口径、会设计、可操作、能发展”，具有创新精神和实践能力人才为目的。《21世纪高等院校信息与通信工程规划教材：电路分析基础（第2版）》较全面地阐述了电路的基本理论，并适当引入电路新技术。内容遵从先易后难，由浅入深，循序渐进的原则。主要包

完整版 Microsoft.ACE.OLEDB.12.0 驱动下载.rar

5星 · 资源好评率100%

亲测好用，挺不错的资源，大家快来下载吧！挺有用的！需要的话可以来下载哦！Microsoft.ACE.OLEDB.12.0驱动下载，解决未在本地计算机上注册“Microsoft.ACE.OLEDB.12.0”提供程序，权限问题

CMSIS-DAP使用说明及驱动.rar

仿真器，含有详细的教程，驱动，使用方法等等，keil和IAR安装及支持CMSIS-DAP工具，CoFlash及Hex2bin工具包，DAP仿真器下载程序说明等等

DATAGURU 专业数据分析社区

Spark 大数据平台第一版讲师：马军辉

第二课： Spark 编程模型和解析

DATAGURU 专业数据分析社区

Spark 大数据平台第一版讲师：马军辉

法律声明

【声明】本视频和幻灯片为炼数成金网络课程的教学资

料，所有资料只能在课程内使用，不得在课程以外范围散

播，违者将可能被追究法律和经济责任。

课程详情访问炼数成金培训网站

http://edu.dataguru.cn

DATAGURU 专业数据分析社区

Spark 大数据平台第一版讲师：马军辉

上周回顾

RDD

舍我其谁 !



Spark 生态环境

–

Spark （ Spark core ）是核心

–

RDD 是基础，是桥梁



Spark 部署

–

Spark 集群部署

–

Spark 应用程序部署



Spark 应用程序有两部分组成：

–

Driver

–

executor



Spark 两个应用工具

–

spark-shell

–

spark-submit



Spark 的源码编译方法

–

Maven

–

Sbt

–

make-distribution

DATAGURU 专业数据分析社区

Spark 大数据平台第一版讲师：马军辉

本周内容



Spark 编程模型（ Spark 应用程序第一部分）



RDD



Spark-shell 程序调试



IDEA 程序调试

DATAGURU 专业数据分析社区

Spark 大数据平台第一版讲师：马军辉

本周内容



Spark 编程模型



RDD



Spark-shell 程序调试



IDEA 程序调试

剩余40页未读，继续阅读

评论收藏

内容反馈

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

qikai

粉丝: 0
资源: 7

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

02Spark编程模型和解析

XParse-X模型分析

Spark编程模型和解析.pdf

Spark & SparkSql编程学习资料

IT十八掌_Spark阶段学习笔记(Spark+Mahout+机器学习)

大数据Spark企业级实战

stockholm-java-meetup-java-spark-demo:来自 2014 年 12 月斯德哥尔摩 Java 聚会的 Spark 微网络服务的代码示例

dsc-4-39-06-building-recommendation-system-als-pyspark-seattle-ds-career-040119

HadoopLearning:大数据学习教程

大数据处理流程.pdf

Java及大数据学习路线.pdf

FusionInsightHD华为大数据平台.pdf

SparkSQL 笔记 01

数据科学与大数据技术是学什么.pdf

Qt 5实现串口调试助手 （源工程文件、0积分下载）

【SystemVerilog】路科验证V2学习笔记（全600页）.pdf

AutoSAR标准协议4.2.2

光伏-储能并网系统仿真.rar

NPPJSONViewer.zip

GD32替换STM32注意事项.pdf

XCP协议的规范文档

VS2015安装证书，JavaScript_ProjectSystem.msi，JavaScript_LanguageService.msi

CANoe通过CAPL脚本实现自动测试

蓝牙BLE协议中文版.pdf

BaiduOCR.zip

AD20官方中文教程.pdf

七参数坐标转换工具（可在WGS84、北京54、西安80、CGCS2000坐标系中任意两个转换）

电路分析基础第二版PDF电子书免费下载

完整版 Microsoft.ACE.OLEDB.12.0 驱动下载.rar

CMSIS-DAP使用说明及驱动.rar

最新资源

Qt 5实现串口调试助手（源工程文件、0积分下载）