大数据处理期末考试题库.pdf

本题库主要涵盖了大数据处理中的核心概念，特别是针对Apache Spark的相关知识，包括其组件、配置、调度机制、RDD特性和操作、分布式部署方式、DataFrame与RDD的区别以及Spark SQL和Spark MLlib等组件的特性。以下是这些知识点的详细说明： 1. **Spark组件**：Spark包含多个核心组件，如Spark Streaming用于实时流处理，Mlib提供机器学习算法，GraphX处理图计算，而Spark R是Spark与R语言的接口。其中，Spark R不是Spark的四大组件之一。 2. **Spark服务端口**：Spark自带的服务端口包括8080（Web UI）、4040（Spark应用UI），而不是8090。 3. **Spark版本更新**：Spark 1.4版本的最大变化是引入了Spark RC DataFrame，而不是支持动态资源分配。 4. **Spark Job调度模式**：Spark Job默认的调度模式是FIFO（先进先出）。 5. **本地模式运行条件**：在本地模式下运行Spark，必须满足的条件包括设置`spark.localExecution.enabled=true`，显式指定本地运行，且finalStage无父Stage，但partition默认值并不是本地模式的条件。 6. **RDD特性**：RDD（弹性分布式数据集）是不可变的，可分区、可序列化和可持久化，但不可修改。 7. **广播变量和累加器**：广播变量是只读的，存储在各个节点上；累加器支持加法和数值类型，但不支持自定义类型。 8. **Spark部署方式**：Spark支持standalone、Mesos、YARN和local部署，但不包括D选项中的Spark on local（可能是指Spark本地模式）。 9. **Stage和Task**：Stage的Task数量由RDD的分区（Partition）数量决定；窄依赖操作如filter，而宽依赖操作如reduceByKey可能导致shuffle。 10. **Spark通信机制**：Spark的master和worker之间通过Akka进行通信。 11. **存储级别**：默认的存储级别是MEMORY_ONLY，即仅存储在内存中。 12. **恢复模式**：Spark.deploy.recoveryMode不支持NONE选项。 13. **RDD缓存**：RDD的缓存方法包括persist()和cache()，而Memory()不是缓存方法。 14. **Task运行位置**：Task是在Executor上运行的工作单元。 15. **Hive元数据存储**：与Derby相比，MySQL支持多会话。 16. **DataFrame与RDD的区别**：DataFrame相比RDD最大的区别是多了schema，提供了结构化的数据处理。 17. **Master的ElectedLeader事件**：此事件后，Spark Master会注册application并通知worker，然后变为ALIVE状态。 18. **Spark的性质**：Spark是一种基于内存计算的框架，它是一种基于RDD的并行计算框架，同时支持HDFS、Cassandra、Hbase和S3等多种存储。 19. **大数据处理场景**：批处理、交互处理和流式计算是大数据处理的主要场景。 20. **Spark Core特性**：Spark Core引入了RDD，采用移动计算而非移动数据，使用线程池减少task启动开销，并使用akka作为通讯框架。 21. **Spark SQL特性**：Spark SQL允许开发人员处理RDD，直接查询Hive数据，以及使用SQL进行数据分析，其性能通常优于Hive。 22. **Spark组件**：Spark的组件包括MLlib（机器学习库）、GraphX（图计算）和Spark SQL（结构化数据处理）。 23. **Spark运行模式**：Spark支持local、Standalone、Mesos、YARN和Kubernetes等运行模式。 这些知识点覆盖了Spark的基础到进阶内容，对于理解和掌握Spark及其在大数据处理中的应用至关重要。