Hive SQL大厂必考常用窗口函数及面试题.pdf

窗⼝函数也称为OLAP函数，OLAP 是OnLine Analytical Processing 的简称，意思是对数据库数据进⾏实时分析处理。例如，市场分析、创建财务报表、创建计划等⽇常性商务⼯作。窗⼝函数就是为了实现OLAP ⽽添加的标准SQL 功能。 聚合函数是将多条记录聚合为⼀条；窗⼝函数是每条记录都会执⾏，有⼏条记录执⾏完还是⼏条。窗⼝函数兼具GROUP BY ⼦句的分组功能以及ORDER BY ⼦句的排序功能。但是，PARTITION BY ⼦句并不具备 GROUP BY ⼦句的汇总功能。 【Hive SQL大厂必考常用窗口函数及面试题】主要涵盖了窗⼝函数在大数据分析中的应用，尤其在OLAP（在线分析处理）场景中的重要性。窗⼝函数是一种标准SQL功能，它允许对数据库数据进行实时分析处理，如市场分析、财务报表创建等。 一、窗口函数概述 1. **定义**：窗口函数在每条记录上执行，而不是像聚合函数那样将多条记录聚合为一条。它可以同时实现GROUP BY子句的分组和ORDER BY子句的排序功能，但PARTITION BY并不具备GROUP BY的汇总功能。 2. **分类**：主要包括序号函数、分布函数、前后函数、头尾函数以及与聚合函数联合使用的功能。 - **序号函数**：row_number()、rank()、dense_rank()，这些函数用于为数据集中的每一行分配一个唯一的序号。 - **分布函数**：percent_rank()、cume_dist()，提供百分比排名和累积分布。 - **前后函数**：lag()、lead()，可以获取当前行前后的值。 - **头尾函数**：first_value()、last_value()，分别获取指定列的第一个和最后一个值。 - **聚合函数+窗口函数**：如sum() over()、max()/min() over()、avg() over()，结合了聚合操作和窗口功能。 二、窗口函数基本用法 1. **基本语法**：通常包括OVER()子句，其中可能包含PARTITION BY、ORDER BY等子句。 2. **设置窗口的方法**：通过PARTITION BY来分组数据，ORDER BY进行排序。 3. **加order by与不加的区别**：ORDER BY用于确定窗口内的行顺序，不加则默认按照数据的物理顺序处理。 三、窗口函数应用示例 1. **序号函数**：如row_number()，可用于分配连续的序列号。 2. **分布函数**：percent_rank()和cume_dist()提供百分比和累积分布信息。 3. **前后函数**：lag()和lead()获取相邻行的值，适用于趋势分析。 4. **头尾函数**：first_value()和last_value()获取分组内的第一个和最后一个值，对于追踪变化很有用。 5. **聚合函数+窗口函数**：如sum() over()可以计算每个分组的累计和，而无需先使用GROUP BY。 四、面试题 1. **用户行为分析**：窗口函数可以用于分析用户活动的连续性、频率等。 2. **学生成绩分析**：可以使用窗口函数来跟踪学生分数的变化，比如排名、平均分等。 窗⼝函数的灵活性和实用性使其成为大数据分析中的关键工具。与普通聚合函数相比，它在保持原始数据行数不变的情况下，提供了更复杂的数据透视和分析能力。例如，GROUP BY将多条记录聚合为一条，而窗口函数则在保留原始行的基础上，对每条记录进行单独处理，从而实现更为精细的数据洞察。在实际的业务场景中，如用户行为分析、销售数据分析等，熟练掌握窗口函数的使用能有效提升数据分析效率和质量。