高级java笔试题-StudySpark:学习Spark的一个小项目，以及其中各种调优的笔记

高级java笔试题 StudySpark spark的一个小项目以及笔记 目录 项目内容 用户访问session分析模块 用户访问session分析业务，session聚合统计、session随机抽取、top10热门分类、top10活跃用户 1、按条件筛选session 2、统计出符合条件的session中，访问时长在1s~3s、4s~6s、7s~9s、10s~30s、30s~60s、1m~3m、3m~10m、10m~30m、30m以上各个范围内的session占比；访问步长在13、46、79、1030、30~60、60以上各个范围内的session占比 3、在符合条件的session中，按照时间比例随机抽取1000个session 4、在符合条件的session中，获取点击、下单和支付数量排名前10的品类 5、对于排名前10的品类，分别获取其点击次数排名前10的session 技术点：数据的过滤与聚合、自定义Accumulator、按时间比例随机抽取算法、二次排序、分组取topN 性能调优方案：普通调优、jvm调优、shuffle调优、算子调优 troubleshooting经验 数