hadoop群集环境准备
Hadoop群集环境准备是指在CentOS操作系统下安装Hadoop之前所需进行的初始化工作，包括CentOS环境初始化、免SSH配置、JDK部署等步骤。
一、初始化CentOS环境
在CentOS环境下，需要进行初始化配置，以确保系统的稳定运行。这里包括了缓存分区问题的解决，通过在/etc/rc.local文件中添加相应的命令来实现。
```
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
```
这些命令用于禁用transparent hugepage，以避免可能的性能问题。
二、hosts配置
hosts文件是用于将主机名映射到IP地址的配置文件。为了便于维护和避免兼容问题，建议使用hostname来配置hosts文件。这里需要在所有节点上执行以下操作：
```
vim /etc/hosts
10.16.2.129 GZ-L-143046 hdp1
10.16.2.99 GZ-L-147211 hdp2
10.16.2.59 GZ-L-147064 hdp3
```
这些命令用于添加hosts条目，以便在后续的配置中使用。
三、ssh配置
为了实现免密码登录，需要生成密钥并将其添加到authorized_keys文件中。以下是ssh配置的步骤：
```
yum -y install openssh-clients
vim wget
ssh-keygen -t rsa -P ''
scp -P 2002 ~/.ssh/id_rsa.pub root@10.16.2.129:~/.ssh/id_rsa.pub.129
scp -P 2002 ~/.ssh/id_rsa.pub root@10.16.2.99:~/.ssh/id_rsa.pub.129
scp -P 2002 ~/.ssh/id_rsa.pub root@10.16.2.59:~/.ssh/id_rsa.pub.129
ll ~/.ssh
echo "">~/.ssh/authorized_keys
cat ~/.ssh/id_rsa.pub.129>> ~/.ssh/authorized_keys
cat ~/.ssh/id_rsa.pub.99 >> ~/.ssh/authorized_keys
cat ~/.ssh/id_rsa.pub.59>> ~/.ssh/authorized_keys
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
```
这些命令用于生成密钥、将其添加到authorized_keys文件中，并设置权限。
四、关闭防火墙
为了避免防火墙干扰Hadoop的运行，需要关闭防火墙。以下是关闭防火墙的步骤：
```
service iptables stop
chkconfig iptables off
service iptables status
```
这些命令用于停止防火墙服务，并禁用防火墙的启动。
五、JDK配置
JDK是Hadoop的依赖项之一，需要在所有节点上安装JDK。以下是安装JDK的步骤：
```
cd /usr/local/src/
tar zxf jdk-8u101-linux-x64.tar.gz
mv jdk1.8.0_101 /usr/local/
cd ..
ln -s jdk1.8.0_101 java
```
这些命令用于解压缩JDK安装包，并将其移动到/usr/local目录下。
```
vim /etc/profile
export JAVA_HOME=/usr/local/java
export JRE_HOME=/usr/local/java/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile
```
这些命令用于设置JDK的环境变量，使其能够被系统识别。
```
java -version
```
这些命令用于查看JDK的版本号，以确保其正确安装。
