没有合适的资源?快使用搜索试试~ 我知道了~
spark-window:Spark 窗口函数的实验
共13个文件
scala:6个
sbt:3个
license:1个
需积分: 35 0 下载量 10 浏览量
2021-06-05
13:31:40
上传
评论
收藏 856KB ZIP 举报
温馨提示
火花窗 该项目旨在改进 Spark SQL 的窗口函数。 它目前正在进行中。 此实现需要 SPARK 1.4.0 提供的功能。 改进 与当前实现相比的优点是: 本机 Spark-SQL,当前实现仅依赖于 Hive UDAF。 新的实现使用 Spark SQL 聚合。 虽然仍然支持 Hive UDAF。 在运行案例(例如 BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW)和 UNBOUDED FOLLOWING 案例中,性能要好得多(10 倍)。 在单个窗口执行阶段处理所有帧规范的能力。 这一点改善了内存使用和处理。 许多暂存代码已从执行阶段移至“初始化”阶段。 增加优化机会。 AggregateEvaluation 样式优化可用于帧内处理。 钨也可能提供有趣的优化机会。 用法 准备好 SPARK 1.4.0 版本,并确保将 JARS 安装到本
资源推荐
资源详情
资源评论
收起资源包目录
spark-window-master.zip (13个子文件)
spark-window-master
project
plugins.sbt 379B
src
test
scala
org
apache
spark
sql
execution
WindowFunctionTests.scala 3KB
resources
allyears2k_headers.csv 4.37MB
main
scala
org
apache
spark
sql
execution
Window2.scala 23KB
hive
WindowTestHiveContext.scala 4KB
ExtraSQLStrategy.scala 1KB
WindowedData.scala 8KB
catalyst
expressions
extendedWindowExpression.scala 5KB
LICENSE 11KB
build.sbt 1KB
README.md 8KB
.gitignore 406B
assembly.sbt 261B
共 13 条
- 1
资源评论
新文达·小文姐姐
- 粉丝: 29
- 资源: 4545
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功