大数据技术课程设计.docx

任务一：完成Hadoop集群部署前环境的准备工作 1.1 虚拟机环境准备 1. 安装虚拟机 2. 克隆虚拟机 3. 修改网络配置 4. 修改主机名和映射 5. 关闭防火墙 1.2 安装JDK 1.3 安装Hadoop 1.4 集群配置 1. 编写集群分发脚本xsync 2. 集群部署规划 表 1.1 hadoop101 hadoop102 hadoop103 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager NodeManager NodeManager 3. 配置集群 （1）核心配置文件 配置core-site.xml （2）HDFS配置文件 配置 hadoop-env.sh 配置 hadoop-site.xml （3）YARN配置文件 配置 yarn-env.sh 配置 yarn-site.xml （4）MapReduce配置文件 配置 mapred-env.sh 配置 mapred-site.xml 4. 在集群上分发配置