我本科开题报告要求最后要提交论文和配置手册，但是后来教务处要求只能提交论文，不能提交配置手册，所以也涉及不到版权了。本来我打算上传pdf加密版的，但是考虑到发出来就是和大家一起学习的，所以没有加密，将我原版的word上传
### Hadoop与SLURM配置安装关键知识点
#### 一、绪论
- **项目背景**：本手册基于河北科技大学理学院王子元同学的本科毕业设计项目——《数学系大数据环境建设》。该项目旨在构建一个大数据处理平台，利用Hadoop与SLURM技术搭建集群，以支持数学系的数据分析与研究工作。
- **实验环境**：实验采用了四台惠普工作站作为节点服务器，并设置了由一台虚拟机和三台物理机组成的实验集群。系统按照刀片式服务器集群的标准进行部署，模拟了真实世界中的华为刀片服务器集群运行环境。
#### 二、Hadoop Web管理地址
- **HDFS Web管理地址**：`http://192.168.1.201:50070/`
- **MapReduce Web管理地址**：`http://192.168.1.201:8088/`
- **HBase Web管理地址**：`http://192.168.1.201:16010/`
- **Hive Web管理地址**：`http://192.168.1.201:9999/hwi/`
#### 三、Linux篇
- **IP地址规划**：
- Router: `192.168.1.1`
- Master: `192.168.1.200`
- Slave01: `192.168.1.201`
- Slave02: `192.168.1.202`
- Slave03: `192.168.1.203`
- **U盘启动盘制作**
- 使用UltraISO软碟通软件制作U盘启动盘，用于安装Red Hat Enterprise Linux 7.0 (RHEL 7.0)。
- 准备8GB U盘、rhel-server-7.0-x86_64-dvd.iso镜像文件。
- 打开UltraISO，选择“文件”->“打开”，选择RHEL ISO镜像文件。
- 在UltraISO中选择“启动”->“写入映像...”，选择U盘后点击“写入”。
- **RHEL 7.0安装步骤**
- 开始安装Red Hat Enterprise Linux 7.0。
- 选择中文和简体中文界面。
- 选择带有图形用户界面的服务器安装类型。
- 配置网络设置：
- 输入主机名，如master或slave01等。
- 设置IPV4手动地址配置，包括IP地址、子网掩码和网关。
- 配置DNS服务器，例如`192.168.1.1`和`114.114.114.114`。
- 设置root密码，建议使用“hadoop”作为密码。
- **Linux常用命令**
- 查看文件路径：`which java`、`which javac`
- 删除文件：`rm -rf /usr/bin/java`、`rm -rf /usr/bin/javac`
- 创建符号链接：`ln -s $JAVA_HOME/bin/java /usr/bin/java`、`ln -s $JAVA_HOME/bin/javac /usr/bin/javac`
- 检查端口占用情况：`netstat -an | grep 10000`
- 查找进程：`ps aux | grep 'metastore'`
- 查看IP地址：`ifconfig`
- 查看主机名：`hostname`
- 停止防火墙服务：`service iptables stop`
- 禁止防火墙开机启动：`chkconfig iptables off`
- 重启网卡服务：`service network restart`
- 加载配置文件：`source /etc/profile`
- 使用文本编辑器：`vi`
- 文件复制：`scp`
- 切换目录：`cd`
- 列出目录内容：`ll`、`ls`
- 重启系统：`reboot`
- 关闭系统：`poweroff`
#### 四、Hadoop与SLURM配置亮点
- **时间服务器配置**：为了提高集群的同步性，作者配置了时间服务器，使得集群内各节点之间的时间同步精度达到0.05秒级别，远超常规要求的3秒误差范围。
- **自动化脚本**：作者还开发了一款基于Python的自动化脚本，集成了大部分集群操作命令，大大简化了集群管理流程，降低了用户的操作难度。
#### 五、结语
本手册不仅提供了详细的Hadoop与SLURM集群配置过程，还包括了一系列实用的Linux操作技巧和命令。这些内容对于初学者来说是非常宝贵的资源，能够帮助他们在实践中更好地理解和掌握大数据处理技术。此外，作者在项目过程中展现出来的创新精神和技术实力，也为其他同学树立了良好的榜样。
