工信部spark高级考试参考题目

单选题(30 题)

1、Task 运行在下面哪个选项中 Executor 上的工作单元 ( )

A.Driver program B.spark master C.worker node D.Cluster manager

2、（ ）是一个交互式笔记本，支持运行 40 多种编程语言

A.PySpark B.Jupyter Notebook C.Anaconda D.Pycharm

3、（ ）是负责实时流处理的应用。

A.Spark Streaming B.Spark SQL C.MLlib D.GraphX

4、( ) 是 spark 最基本的数据抽象。

A.Spark Streaming B.Spark SQL C.MLlib D.RDD

8、使用（ ）给 DataFrames 数据去重

A.orderBy B.distinct C.count D.groupBy

9、在一次机器学习中，数据中无标签值，那么该学习就是（ ）

A.监督学习 B.无监督学习 C.强化学习 D.自我学习

10、（ ）最早是 Cloudera 提供的日志收集系统，目前是 Apache 下的一个孵化项目，支持在

日志系统中定制各类数据发送方，用于收集数据的工具。

A.Flume B.Zookeeper C.Storm D.Sparkstreaming

11、我们通常使用下列哪个库来处理数据、提取特征：（ ）

A.sklearn B.Weka C. Java-ML D.MALLET

12、下列哪个选项是在 Spark 平台下，面向大规模图计算的组件，通过引入属性图，构建

A.bfs(fromExpr, toExpr, edgeFilter=None, maxPathLength=10)

B.labelPropagation(maxIter)

C.shortestPaths(landmarks)

D.pageRank(resetProbability=0.15, sourceId=None, maxIter=None, tol=None)

15、下列哪个选项不是 GraphFrame 提供的基本视图：（ ）

A.顶点表视图 B.边表视图 C.模式视图 D.三角视图

16、GraphX 中最基本的数据结构不包含哪一项？（ ）

A.顶点 B.边 C.边三元组 D.角

17、（ ）可用于发现网络中环，经常用于社交网络，发现社交圈子，算法使用顶点 ID 标注

图中每个连通体，将连通体中序号最小的顶点的 ID 作为连通体的 ID