大数据 50 道面试题及答案.docx

大数据 50 道面试题及答案 大数据技术是当前IT行业最热门的技术之一，而Hadoop是大数据技术中最核心的组件之一。在大数据面试中，Hadoop相关的问题都是必问的。下面我们将从Hadoop集群的三种模式、Hadoop的核心配置、Namenode、Job tracker和Task tracker的端口号、Hadoop的安装目录、RAM的溢出因子、fs.mapr.working.dir、hdfs-site.xml的三个主要属性、如何退出输入模式、如何下载Hadoop、"jps"命令的用处、Fsck的全名、如何检查Namenode是否正常运行、mapred.job.tracker命令的作用、etc init. d命令的作用、如何在浏览器中查找Namenode等方面对Hadoop进行详细的解释。 让我们来了解Hadoop集群的三种模式：单机（本地）模式、伪分布式模式和全分布式模式。在单机模式中，不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序，这也是最少使用的一个模式。伪分布式模式适用于开发和测试环境，在这个模式中，所有守护进程都在同一台机器上运行。全分布模式通常被用于生产环境，这里我们使用N台主机组成一个Hadoop集群，Hadoop守护进程运行在每台主机之上。 然后，让我们来了解Hadoop的核心配置。Hadoop的核心配置通过三个xml文件来完成：core-site.xml、hdfs-site.xml和mapred-site.xml。这些文件都使用xml格式，因此每个xml中都有一些属性，包括名称和值。 接下来，让我们来了解Namenode、Job tracker和Task tracker的端口号。Namenode的端口号是70，Job tracker的端口号是30，Task tracker的端口号是60。 此外，我们还需要了解Hadoop的安装目录。Hadoop安装在/usr/lib/hadoop-0.20目录下。 RAM的溢出因子是临时文件中储存文件的大小，也就是Hadoop-temp目录。fs.mapr.working.dir只是单一的目录。 hdfs-site.xml的三个主要属性是：dfs.name.dir决定的是元数据存储的路径以及DFS的存储方式（磁盘或是远端）、dfs.data.dir决定的是数据存储的路径、fs.checkpoint.dir用于第二Namenode。 如果你想退出输入模式，可以按ESC键或者键入q（如果你没有输入任何内容）或者键入wq（如果你已经输入内容），并且按下Enter键。 如果你想下载Hadoop，可以从Cloudera或者Edureka的dropbox下载，然后在你的系统上运行。 "jps"命令的用处是检查Namenode、Datanode、Task Tracker、Job Tracker是否正常工作。 Fsck的全名是File System Check。 如果要检查Namenode是否正常工作，可以使用命令etcinit.dhadoop-0.20-namenode status或者简单地使用jps命令。 mapred.job.tracker命令的作用是让你知道哪个节点是Job Tracker。 etc init. d命令的作用是说明了守护进程（服务）的位置或状态，实际上是LINUX特性，与Hadoop关系不大。 如果你想在浏览器中查找Namenode，可以使用localhost:50070端口号。