工信部spark初级考试参考题目

spark 初级考试参考题目 本资源摘要信息涵盖了 Spark 的基础知识点，包括 Spark 的四大组件、Spark 的运行模式、Stage 和 Task 的关系、Executor 的作用、软件安装命令、应用提交命令、Spark 的 API、配置文件、日志输出控制、有向无环图、计算逻辑、Spark 应用程序配置、Spark 集群节点配置、RDD 算子类型、广播变量、累加器、全局共享变量、宽依赖和窄依赖、DataFrames 数据处理等。 1. Spark 的四大组件：Spark Streaming、Mlib、Graphx 和 Spark R。其中，Spark R 不是 Spark 的四大组件之一。 2. Spark 的运行模式包括 standalone、spark on mesos 和 spark on YARN 等，spark on YARN 模式利用 Hadoop 的资源管理器。 3. Stage 的 Task 数量由 Partition 决定，Partition 是RDD 的一个子集，Spark 会将RDD 切分成多个 Partition，然后对每个 Partition 进行处理。 4. Task 运行在 Executor 上的工作单元中，Executor 是 Spark 集群中的一个组件，负责执行 Task。 5. 在 Ubuntu 系统中，软件安装命令为 apt-get install。 6. 应用提交命令为 spark-submit。 7. Spark 为 Python 开发者提供的 API 是 pyspark。 8. 与 Spark 环境相关的配置文件是 spark-env.sh。 9. 与 Spark 日志相关的配置文件是 log4j.properties。 10. 与 Spark 集群节点相关的配置文件是 slaves。 11. Spark 控制日志输出内容的方式有两种。 12. 有向无环图 (DAG) 在 Spark 中用于描述计算逻辑。 13. pyspark.SparkConf 类提供了对一个 Spark 应用程序配置的操作方法。 14. pyspark.SparkContext 类提供了应用与 Spark 交互的主入口点，表示应用与 Spark 集群的连接。 15. pyspark.Broadcast 类提供了对广播变量的操作方法。 16. RDD 算子包括两种类型：Transformations 和 Actions。 17. 当 Executor 中需要引用外部变量时，需要使用累加器或广播变量。 18. 累加器是一个全局共享变量，可以完成对信息进行聚合操作。 19. 宽依赖是指一个父 RDD 的 Partition 会被多个子 RDD 的 Partition 所使用。 20. 窄依赖是指每个父 RDD 的一个 Partition 最多被子 RDD 的一个 Partition 所使用。 21. 使用 distinct 方法可以给 DataFrames 数据去重。 22. 使用 count 方法可以给 DataFrames 数据计数。 23. 使用 groupBy 方法可以给 DataFrames 数据分组。 24. Spark SQl 是一种分布式数据集，以 RDD 为基础，与传统数据库中的二维表格相类似。