大数据平台常见面试题.pdf

⼤数据平台常见⾯试题 第1部分 申请ID.. 3 第2部分 部署kafka. 4 2.1 部署86节点kafka. 4 2.2 配置86节点zookeeper. 5 2.3 部署87节点kafka. 5 2.4 配置87节点zookeeper. 5 第3部分 启动zookeeper. 5 3.1 启动86节点启动zookeeper-1服务... 5 3.2 启动87节点启动zookeeper-2、zookeeper-3服务... 6 第4部分 启动kafka. 6 4.1 启动86节点kafka服务... 6 4.2 启动87节点kafka服务... 6 第5部分 创建topic. 7 5.1 测试Topic（可选）... 7 5.2 创建⽣产的topic. 7 第1部分 选择题 1.1 Hadoop选择题 1.1.1 Hdfs 1. 下⾯哪个程序负责 HDFS 数据存储？ a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 2. HDfS 中的 block 默认保存⼏份？ a)3份 b)2份 c)1份 d)不确定 3. 下列哪个程序通常与NameNode 在⼀个节点启动？ a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker 注：haoop1.X 分析： hadoop 的集群是基于 master/slave 模式，namenode 和 jobtracker 属于 master，datanode 和 tasktracker属于 slave，master 只 有⼀个，⽽ slave 有多个。SecondaryNameNode 内存需求和 NameNode 在⼀个数量级上，所以通常 secondary NameNode（运⾏在 单独的物理机器上）和 NameNode 运⾏在不同的机器上。 JobTracker 和 TaskTracker JobTracker 对应于 NameNode TaskTracker 对应于 DataNode DataNode 和 NameNode 是针对数据存放来⽽⾔的 JobTracker 和 TaskTracker 是对于 MapReduce 执⾏⽽⾔的 mapreduce 中⼏个主要概念，mapreduce 整体上可以分为这么⼏条执⾏线索： jobclient，JobTracker 与 TaskTracker。 1、JobClient 会在⽤户端通过 JobClient 类将应⽤已经配置参数打包成 jar ⽂件存储到 hdfs，并把路径提交到 Jobtracker,然后由 JobTracker 创建每⼀个 Task（即 MapTask 和 ReduceTask）并将它们分发到各个 TaskTracker 服务中去执⾏ 2、JobTracker 是⼀个 master 服务，软件启动之后 JobTracker 接收 Job，负责调度 Job 的每⼀个⼦任务 task运⾏于 TaskTracker 上，并监控它们，如果发现有失败的 task 就重新运⾏它。⼀般情况应该把 JobTracker 部署在单独的机器上。 3、TaskTracker 是运⾏在多个节点上的 slaver 服务。TaskTracker 主动与 JobTracker 通信，接收作业，并负责直接执⾏每⼀个任务。 TaskTracker 都需要运⾏在 HDFS 的 DataNode 上 4. HDFS 默认 Block Size a)32MB b)64MB c)128MB 注：旧版本是64MB 5. Client 端上传⽂件的时候下列哪项正确 a)数据经过 NameNode 传递给 DataNode b)Client 端将⽂件切分为 Block，依次上传 c)Client 只上传数据到⼀台 DataNode，然后由 NameNode 负责 Block 复制⼯作 分析： Client 向 NameNode 发起⽂件写⼊的请求。 NameNode 根据⽂件⼤⼩和⽂件块配置情况，返回给 Client 它所管理部分 DataNode 的信息。 Client 将⽂件划分为多个 Block，根据 DataNode 的地址信息，按顺序写⼊到每⼀个 DataNode 块中。 6. 下⾯与 HDFS 类似的框架是？C A NTFS B FAT32 C GFS D EXT3 7. 的 8. 的 1.1.2 集群管理 1. 下列哪项通常是集群的最主要瓶颈 a)CPU b)⽹络 c)磁盘 IO d)内存 解析： 由于⼤数据⾯临海量数据，读写数据都需要 io，然后还要冗余数据，hadoop ⼀般备 3 份数据，所以 IO