Spark面试攻略：全面准备与技巧指南.docx
52 浏览量
2024-01-26
22:15:23
上传
评论
收藏 1.85MB DOCX 举报
基 础 问 题
1. 你知道 Spark 中的 lineage（血缘）吗？它是什么有什么作用和意义呢？
所谓 Lineage，就是将所有的工作流程、或者说所有的数据流看成一张有向无环图（DAG）。在这张图上，
每个节点就是一个原子的操作，每条有向边就代表了数据从一个操作流动到下一个操作。这个 DAG 能精确
撤销某个 RDD 被 Spark 丢失或者数据损坏的情形，通过回放 DAG 中的操作形成新的数据分区来代替损坏的
数据分区。
血缘所发挥的优点主要如下：
对数据的追踪和调试：有了血缘，你可以大体上了解业务和数据从哪里过来，对了解数据和业务、找
bug 非常有帮助。
数据容错：利用血缘机制，RDD 可以通过 DAG 图自动重算，使得整个 Spark 框架变得更加健壮。
精准的修改和调试：想更改某部分逻辑时，我们不需要重新计算整个 DAG，而只需要更改对应的节点
算子或数据，非常方便。
所以说，在分布式计算框架 Spark 中，lineage 是一种重要的机制，有利于数据流的稳定性和准确性衡
量，提供了极巡错误的和寻找薛挡的途径。
2. 你将如何处理 Spark 中的倾斜数据？
诊断和确认数据倾斜:
首先，通过 Spark UI 观察 Stage 的执行时间以及 Task 的执行时长来诊断是否存在数据倾斜。
使用 explain 命令查看物理执行计划，看看是否有大量任务集中在少数 Partition 中。
增加 shuffle 分区数:
可以通过.config("spark.sql.shuffle.partitions", "数值")来增加 shuffle 阶段的 partition 数量，尽量避免过
载。
使用随机前缀和扩展键:
对倾斜的 key 加上随机前缀，通过 flatMap 拆分成多条记录，之后进行 shuffle，最后去掉随机前缀。
广播小表:
如果倾斜是 Join 操作引起的，并且其中一个 DataFrame 的尺寸足够小，那么可以使用广播 Join(broadcast)
来避免 shuffle。
剩余29页未读，继续阅读
资源评论
