hadoop考试复习试题200道.docx

Hadoop是大数据处理领域的重要框架，它提供了分布式存储和计算的能力。Spark是另一种大数据处理框架，它以速度、易用性和通用性著称，主要由Scala编写，但也支持Java、Python和R等编程语言。Spark提供了更高效的内存计算，使得数据处理速度比传统的Hadoop MapReduce更快。 FusionInsight是华为公司推出的大数据解决方案，它包含了多个组件，如Hadoop、HDFS、YARN、HBase、Hive、Spark等。在FusionInsight Manager中，用户可以管理各种服务，包括查看服务状态、配置服务以及进行服务升级。在服务升级时，需要注意避免某些操作，如在升级期间进行OMS倒换，确保所有主机的root账户密码一致，保持网络通畅，以及在观察期内不做扩容。 Loader是FusionInsight HD中的数据导入工具，它通过连接器(Connector)来配置数据如何与外部数据源连接，从而实现高效的数据导入导出。HDFS（Hadoop Distributed File System）是Hadoop的核心组件，用于存储大数据。通过`hdfs dfsadmin -report`命令，可以获取HDFS的报告，包括数据块的完整性信息。 YARN（Yet Another Resource Negotiator）是Hadoop的资源调度器，管理员可以通过配置参数`yarn scheduler capacity root QueueA maximum-capacity`来设定队列QueueA的最大资源使用率。Flume是一个日志收集、聚合和传输的系统，它可以根据headers信息将数据流路由到不同的channel中。 FusionInsight Manager对外提供Syslog接口，便于与其他外部管理平台对接。HBase是一个基于Hadoop的分布式数据库，其数据文件HFile中的KeyValue格式包含Key、Value、Timestamp和Key Type这四个关键信息。 在FusionInsight HG集群规划设计时，网络配置至关重要。例如，管理平面的管理节点应使用10GE网络，数据节点使用1GE网络，而控制节点在业务平面上也需要使用1GE网络。Hive作为数据仓库工具，支持多种存储格式，如TextFile、SequenceFile和RCFile，但不包括HFile，HFile是HBase的存储格式。 Spark的任务被划分为Stage，每个Stage由多个Task组成，Stage的划分基于shuffle操作。在FusionInsight Manager中，配置服务时，实例级别的配置仅对本实例生效，配置变更通常需要重启服务才能生效。部署Solr时，为了提高性能，建议为每个SolrServer实例的数据目录挂载单独的磁盘，并配置为RAID。 FusionInsight HD的安装流程包括LLD工具配置、预安装、安装Manager、安装集群、安装后检查和安装后配置等多个步骤。Kerberos是提供安全认证的服务，它并不强制要求与LDAP部署在同一节点上。在规划集群时，需要根据实际需求合理分配控制节点和数据节点的数量，例如，对于90个节点的集群，若控制节点为3个，则数据节点推荐规划为87个。 在安装FusionInsight HD之前，确保所有节点在/etc/hosts文件中配置了主机名与业务IP的映射关系，这对于集群内部通信至关重要。以上内容涵盖了Hadoop、Spark、FusionInsight Manager、HDFS、YARN、Flume、HBase、Hive、Solr、Kerberos以及集群规划和安装等多个知识点。