ssh_do_all.sh
ssh do all运行脚本,脚本在运行过程中,实时过程中,只需要运行脚本和对应指令即可完成集群的分布式命令运行
工作中用到了几个hive开窗函数,便想把hive开窗函数系统梳理一遍。 开窗函数 普通的聚合函数聚合的行集是组,开窗函数聚合的行集是窗口。因此,普通的聚合函数每组(Group by)只返回一个值,而开窗函数则可为窗口中的每行都返回一个值。简单理解,就是对查询的结果多出一列,这一列可以是聚合值,也可以是排序值。 开窗函数一般分为两类,聚合开窗函数和排序开窗函数。
Spark 的foreach partition性能调优,详细阐述了Spark 中foreach partition性能调优的所有的可能考虑的技能