haddop群集环境准备

hadoop群集环境准备 Hadoop群集环境准备是指在CentOS操作系统下安装Hadoop之前所需进行的初始化工作，包括CentOS环境初始化、免SSH配置、JDK部署等步骤。 一、初始化CentOS环境 在CentOS环境下，需要进行初始化配置，以确保系统的稳定运行。这里包括了缓存分区问题的解决，通过在/etc/rc.local文件中添加相应的命令来实现。 ``` if test -f /sys/kernel/mm/transparent_hugepage/enabled; then echo never > /sys/kernel/mm/transparent_hugepage/enabled fi if test -f /sys/kernel/mm/transparent_hugepage/defrag; then echo never > /sys/kernel/mm/transparent_hugepage/defrag fi ``` 这些命令用于禁用transparent hugepage，以避免可能的性能问题。 二、hosts配置 hosts文件是用于将主机名映射到IP地址的配置文件。为了便于维护和避免兼容问题，建议使用hostname来配置hosts文件。这里需要在所有节点上执行以下操作： ``` vim /etc/hosts 10.16.2.129 GZ-L-143046 hdp1 10.16.2.99 GZ-L-147211 hdp2 10.16.2.59 GZ-L-147064 hdp3 ``` 这些命令用于添加hosts条目，以便在后续的配置中使用。 三、ssh配置 为了实现免密码登录，需要生成密钥并将其添加到authorized_keys文件中。以下是ssh配置的步骤： ``` yum -y install openssh-clients vim wget ssh-keygen -t rsa -P '' scp -P 2002 ~/.ssh/id_rsa.pub root@10.16.2.129:~/.ssh/id_rsa.pub.129 scp -P 2002 ~/.ssh/id_rsa.pub root@10.16.2.99:~/.ssh/id_rsa.pub.129 scp -P 2002 ~/.ssh/id_rsa.pub root@10.16.2.59:~/.ssh/id_rsa.pub.129 ll ~/.ssh echo "">~/.ssh/authorized_keys cat ~/.ssh/id_rsa.pub.129>> ~/.ssh/authorized_keys cat ~/.ssh/id_rsa.pub.99 >> ~/.ssh/authorized_keys cat ~/.ssh/id_rsa.pub.59>> ~/.ssh/authorized_keys chmod 700 ~/.ssh chmod 600 ~/.ssh/authorized_keys ``` 这些命令用于生成密钥、将其添加到authorized_keys文件中，并设置权限。 四、关闭防火墙 为了避免防火墙干扰Hadoop的运行，需要关闭防火墙。以下是关闭防火墙的步骤： ``` service iptables stop chkconfig iptables off service iptables status ``` 这些命令用于停止防火墙服务，并禁用防火墙的启动。 五、JDK配置 JDK是Hadoop的依赖项之一，需要在所有节点上安装JDK。以下是安装JDK的步骤： ``` cd /usr/local/src/ tar zxf jdk-8u101-linux-x64.tar.gz mv jdk1.8.0_101 /usr/local/ cd .. ln -s jdk1.8.0_101 java ``` 这些命令用于解压缩JDK安装包，并将其移动到/usr/local目录下。 ``` vim /etc/profile export JAVA_HOME=/usr/local/java export JRE_HOME=/usr/local/java/jre export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib export PATH=$JAVA_HOME/bin:$PATH source /etc/profile ``` 这些命令用于设置JDK的环境变量，使其能够被系统识别。 ``` java -version ``` 这些命令用于查看JDK的版本号，以确保其正确安装。