29_多易教育之《多易教育之《yiee数据运营系统》附录:扩展知识点汇总数据运营系统》附录:扩展知识点汇总
系列二系列二
目录目录
一、一、OLAP多维分析概念及函数多维分析概念及函数
1、、cube导论导论
2、、cube核心操作核心操作
1)、、cube核心操作核心操作
2)、、DICE (切块)切块)
3)、、ROLL UP (上卷上卷)
4)、、DRILL DOWN (下钻下钻)
5)、、PIVOT (旋转旋转)
二、二、hive 高阶聚合函数高阶聚合函数
1、、with cube函数函数
2、、grouping sets 函数函数
3、、with rollup函数函数
三、三、with as 语法语法
四、经典数仓模型:拉链表介绍四、经典数仓模型:拉链表介绍
五、经典数仓模型:拉链表实战五、经典数仓模型:拉链表实战
六、六、maven高级特性高级特性
1、、maven的依赖实质的依赖实质
2、、maven的打包、编译命令生命周期的打包、编译命令生命周期
3、、maven的打包的依赖问题的打包的依赖问题
七、七、Spark任务运行时依赖任务运行时依赖jar
八、八、Linux定时任务配置定时任务配置
九、九、Hive任务的脚本化任务的脚本化
十、十、Shell脚本编写脚本编写
1、参数传递、参数传递
2、判断、判断
3、日期获取、日期获取
4、获取上一条命令的退出码、获取上一条命令的退出码
一、一、OLAP多维分析概念及函数多维分析概念及函数
1、、cube导论导论
数据立方体数据立方体(Data Cube),是多维模型多维模型的一个形象的说法。
立方体其本身只有三维,多维模型不仅限于三维模型,可以组合更多的维度
为什么叫数据立方体?
一方面是出于更方便地解释和描述,同时也是给思维成像和想象的空间;
另一方面是为了与传统关系型数据库的二维表区别开来
下图为数据立方体的形象图
指标(衡量):销售额指标(衡量):销售额
其实并不用把cube理解得很高大上,只要理解将衡量指标(事实)分别按照不同维度组合进行聚合.
hive中也有cube函数函数,可以实现多个任意维度的所有组合情况的统计查询
cube(a,b,c)则:
会对(a,b,c)进行group by,
然后依次是(a,b),(a,c),(a),(b,c),(b),©,
最后在对全表进行group by,
他会统计所选列中值的所有组合的聚合
用cube函数就可以完成所有维度的聚合工作.
2、、cube核心操作核心操作