没有合适的资源?快使用搜索试试~ 我知道了~
java8stream源码-top-airports-pipeline:顶级机场管道
共22个文件
scala:13个
csv:3个
sbt:2个
需积分: 9 0 下载量 167 浏览量
2021-06-04
17:21:09
上传
评论
收藏 21KB ZIP 举报
温馨提示
java8流源码10大来源机场 为什么 该应用程序使用取自并计算前 10 名最常使用的源机场的航空公司/航线数据。 如何 该应用程序通过 Apache Spark 提供批处理和流处理。 这两个方法是通过两个基本类实现的,TopAirportsBatchWriter 用于批处理,TopAirportsStreamWriter 用于流处理。 这两个类都实现了 TopAirportsWriter 特性。 流处理器使用format("memory")将聚合结果写入format("memory") ,此决定背后的主要原因是: 内存接收器可以通过 Spark SQL API 轻松测试。 我们知道内存表总是很小,只有10行。 它支持complete输出模式。 此外,我们使用complete作为输出模式,因为它支持我们应用程序所需的所有流功能,即:orderBy、聚合。 最后,我们知道鉴于数据集的大小(~2MB),可以安全地假设我们不希望看到任何 OOM 错误。 正如我们接下来将看到的,该解决方案有两种基本用法。 第一个是用作库(即在databricks 中导入它),第二个是用作命令行程序。 入门 先
资源推荐
资源详情
资源评论
收起资源包目录
top-airports-pipeline-master.zip (22个子文件)
top-airports-pipeline-master
src
test
resources
test_routes.csv 451B
test_routes_emptyid.csv 432B
test_routes_invalidschema.csv 450B
scala
com
abiratsis
airport
pipeline
spark
TopAirportStreamWriterSpec.scala 3KB
TopAirportBatchWriterSpec.scala 3KB
SharedSparkSession.scala 290B
common
Util.scala 300B
main
scala
com
abiratsis
airport
pipeline
spark
TopAirportsBatchWriter.scala 2KB
TopAirportsWriter.scala 610B
TopAirportsStreamWriter.scala 2KB
exceptions
NullOrEmptyArgumentException.scala 178B
common
UserInput.scala 500B
CommandLineHandler.scala 1KB
Util.scala 157B
DataDownloader.scala 709B
Main.scala 3KB
build.sbt 3KB
.gitignore 72B
project
assembly.sbt 116B
build.properties 20B
README.md 9KB
scripts
tapipe.sh 159B
共 22 条
- 1
资源评论
weixin_38640072
- 粉丝: 3
- 资源: 930
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功