没有合适的资源?快使用搜索试试~ 我知道了~
java8stream源码-SparkProject:Spark学习,关于SparkSQL和SparkStreaming的学习
共182个文件
class:84个
scala:24个
xml:17个
需积分: 9 0 下载量 117 浏览量
2021-06-04
17:47:34
上传
评论
收藏 16.52MB ZIP 举报
温馨提示
java8 stream 源码 目录: Spark项目 本项目分为Java版本和Scala版本。在学习的时候使用Scala,因为企业生产中都是使用Java来编写的,因此之后用Java进行重构。 本项目中Spark SQL和Spark Streaming目录下都会有一个Actual-Project和一个learning-project,前者是本阶段学习整体完成后,进行的实战项目,后者是阶段性学习时,日常的测试。 项目中所有用到的数据都在data目录下,可自行下载,注意在执行程序时,记得修改路径 其实这些数据,都在spark目录下spark-2.4.4-bin-2.6.0-cdh5.15.1/examples/src/main/resources Spark及生态圈概述 一、产生的背景 MapReduce局限性:代码非常繁琐,只能支持map和reduce方法,执行效率低下。map处理完后的数据回写到磁盘上,reduce再从磁盘上把数据拉取过来,因此执行效率低下。map和reduce都会对应一个jvm,因此作业量大,则线程开销非常庞大。不适合迭代多次,交互感很低,不支持流式处理。 在hado
资源推荐
资源详情
资源评论
收起资源包目录
java8stream源码-SparkProject:Spark学习,关于SparkSQL和SparkStreaming的学习 (182个子文件)
TopNStatJob$.class 7KB
DayCityVideoAccessStat.class 6KB
DataFrameRDDApp$.class 6KB
DataFrameCase$.class 6KB
DayVideoTrafficsStat.class 5KB
DayVideoAccessStat.class 5KB
StatDAO$.class 4KB
SparkStatCleanJobYarn$.class 4KB
VideoAccessTopNDAO.class 4KB
VideoAccessTopNDAO.class 4KB
AccessConvertUtil$.class 3KB
DataFrameCase$Student.class 3KB
DatasetApp$.class 3KB
SparkStatCleanJob$.class 3KB
DatasetApp$Sales.class 3KB
DataFrameRDDApp$Info.class 3KB
DataFrameApp$.class 3KB
DayCityVideoAccessStat$.class 3KB
HiveMySQLApp$.class 3KB
DataFrameCase$Student$.class 2KB
DatasetApp$Sales$.class 2KB
DataFrameRDDApp.class 2KB
TopNStatJob$$anonfun$cityAccessTopNStat$1$$anonfun$apply$2.class 2KB
DataFrameRDDApp$Info$.class 2KB
ParquetApp$.class 2KB
DayVideoTrafficsStat$.class 2KB
StatDAO$$anonfun$deleteData$1.class 2KB
DatasetApp.class 2KB
TopNStatJob$$anonfun$videoTrafficsTopNStat$1$$anonfun$apply$3.class 2KB
DayVideoAccessStat$.class 2KB
TopNStatJob$$anonfun$videoAccessTopNStat2$1$$anonfun$apply$1.class 2KB
DataFrameCase.class 2KB
DateUtils$.class 2KB
TopNStatJob$$anonfun$videoTrafficsTopNStat$1.class 2KB
SparkSQLThriftServerApp$.class 2KB
TopNStatJob$$anonfun$videoAccessTopNStat2$1.class 2KB
TopNStatJob$$anonfun$cityAccessTopNStat$1.class 2KB
MySQLUtils.class 2KB
MySQLUtils.class 2KB
StatDAO$$anonfun$insertDayCityVideoAccessTopN$1.class 2KB
VideoAccessTopNServlet.class 2KB
VideoAccessTopNServlet.class 2KB
StatDAO$$anonfun$insertDayVideoTrafficsAccessTopN$1.class 2KB
StatDAO$$anonfun$insertDayVideoAccessTopN$1.class 2KB
DataFrameRDDApp$$anonfun$2.class 2KB
TopNStatJob.class 2KB
SQLContextApp$.class 2KB
SQLContextApp$.class 2KB
DataFrameRDDApp$$typecreator5$1.class 2KB
StatDAO.class 2KB
SparkSessionApp$.class 2KB
DataFrameCase$$typecreator13$1.class 2KB
DataFrameCase$$typecreator5$1.class 2KB
DatasetApp$$typecreator4$1.class 2KB
DataFrameRDDApp$$anonfun$4.class 2KB
DataFrameCase$$anonfun$2.class 2KB
DataFrameCase$$anonfun$4.class 2KB
DateUtils.class 1KB
MySQLUtils$.class 1KB
HiveContextApp$.class 1KB
DatasetApp$$anonfun$main$1.class 1KB
SparkStatCleanJobYarn$$anonfun$1.class 1KB
SparkStatCleanJob$$anonfun$1.class 1KB
DataFrameCase$$anonfun$main$1.class 1KB
DataFrameRDDApp$$anonfun$3.class 1KB
DataFrameRDDApp$$anonfun$1.class 1KB
DataFrameCase$$anonfun$1.class 1KB
DataFrameCase$$anonfun$3.class 1KB
MySQLUtils.class 1KB
AccessConvertUtil.class 975B
IpUtils$.class 908B
IpUtils.class 846B
SparkStatCleanJobYarn.class 770B
SparkSQLThriftServerApp.class 759B
VideoAccessTopN.class 756B
VideoAccessTopN.class 756B
SparkStatCleanJob.class 744B
SparkSessionApp.class 709B
HiveContextApp.class 703B
SQLContextApp.class 696B
SQLContextApp.class 696B
HiveMySQLApp.class 690B
DataFrameApp.class 690B
ParquetApp.class 677B
ipDatabase.csv 4.75MB
ipDatabase.csv 4.75MB
sales.csv 239B
student.data 1KB
topn.html 2KB
test.html 2KB
scala-strain.iml 80B
web.iml 80B
scala-strain.iml 80B
scala-strain-1.0.jar 964KB
mysql-connector-java-5.1.38.jar 961KB
commons-collections-3.2.1.jar 562KB
commons-lang-2.5.jar 273KB
commons-beanutils-1.8.0.jar 226KB
json-lib-2.4-jdk15.jar 155KB
servlet-api-2.5.jar 103KB
共 182 条
- 1
- 2
资源评论
weixin_38564598
- 粉丝: 2
- 资源: 907
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 10、安徽省大学生学科和技能竞赛A、B类项目列表(2019年版).xlsx
- 9、教育主管部门公布学科竞赛(2015版)-方喻飞
- C语言-leetcode题解之83-remove-duplicates-from-sorted-list.c
- C语言-leetcode题解之79-word-search.c
- C语言-leetcode题解之78-subsets.c
- C语言-leetcode题解之75-sort-colors.c
- C语言-leetcode题解之74-search-a-2d-matrix.c
- C语言-leetcode题解之73-set-matrix-zeroes.c
- 树莓派物联网智能家居基础教程
- YOLOv5深度学习目标检测基础教程
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功