CentOS7x86-64bit+JDK1.8+hadoop2.7.2安装部署.docx

在本文中，我们将详细探讨如何在CentOS 7 x86-64位操作系统上安装配置Java JDK 1.8和Hadoop 2.7.2。这是一个关键的步骤，因为Hadoop是一个分布式计算框架，它依赖于Java来运行其核心服务。 确保你的系统是最新的。使用`yum update`命令更新所有软件包到最新版本，以确保系统兼容性和安全补丁。 接下来，安装Java Development Kit (JDK) 1.8。在CentOS 7上，可以通过添加Oracle的RPM仓库并安装JDK来完成。下载并安装Oracle JDK的GPG密钥： ```bash sudo rpm --import https://www.oracle.com/javadb/rio/pkgsignring.key ``` 然后，创建一个yum存储库配置文件，并添加JDK的RPM包URL： ```bash sudo vi /etc/yum.repos.d/oracle-jdk.repo [oracle-jdk] name=Oracle Java 8 baseurl=https://download.oracle.com/otn-pub/java/jdk/8u191-b12/3381441ec4604f068d486203305534ff/jdk-8u191-linux-x64.rpm gpgcheck=1 gpgkey=https://www.oracle.com/javadb/rio/pkgsignring.key enabled=1 ``` 安装JDK： ```bash sudo yum install jdk-8u191-linux-x64.rpm ``` 验证JDK是否已成功安装： ```bash java -version ``` 接下来，我们安装Hadoop 2.7.2。将Hadoop的tarball下载到服务器，例如`/opt`目录： ```bash wget http://apache.mirrors.hoobly.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz ``` 解压并移动到适当的目录： ```bash sudo tar -zxvf hadoop-2.7.2.tar.gz -C /usr/local/ sudo mv /usr/local/hadoop-2.7.2 /usr/local/hadoop ``` 配置Hadoop环境变量。编辑`~/.bashrc`或`~/.bash_profile`： ```bash echo "export JAVA_HOME=/usr/java/jdk1.8.0_191" >> ~/.bashrc echo "export HADOOP_HOME=/usr/local/hadoop" >> ~/.bashrc echo "export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin" >> ~/.bashrc source ~/.bashrc ``` 现在，配置Hadoop的配置文件。在`/usr/local/hadoop/etc/hadoop`目录下，修改以下文件： 1. `core-site.xml` - 设置HDFS的基本属性，例如临时目录和命名空间的默认值： ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/data/hadoop/tmp</value> </property> </configuration> ``` 2. `hdfs-site.xml` - 配置HDFS的副本数量和其他参数： ```xml <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:///data/hadoop/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:///data/hadoop/hdfs/datanode</value> </property> </configuration> ``` 3. `mapred-site.xml` - 配置MapReduce框架： ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` 4. `yarn-site.xml` - 配置YARN资源管理器： ```xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> </configuration> ``` 创建Hadoop所需的目录结构，并分配适当权限： ```bash sudo mkdir -p /data/hadoop/{hdfs,hadoop,tmp} sudo chown -R grid:grid /data/hadoop ``` 格式化NameNode： ```bash hdfs namenode -format ``` 启动Hadoop服务： ```bash start-dfs.sh start-yarn.sh ``` 检查Hadoop服务是否运行正常： ```bash jps ``` 你应该能看到NameNode、DataNode、ResourceManager和NodeManager等进程。 至此，你已经成功在CentOS 7上安装了JDK 1.8和Hadoop 2.7.2。为了实现高可用性，你需要在其他节点（slave1和slave2）上重复上述步骤，并配置Hadoop集群以包含这些节点。记得更新`/etc/hosts`文件，以便节点之间可以相互通信。同时，根据实际需求，可能还需要配置SSH无密码登录，以及ZooKeeper以实现NameNode的高可用。集群部署完成后，你可以测试Hadoop的简单MapReduce任务，以验证安装和配置是否正确。