没有合适的资源?快使用搜索试试~ 我知道了~
从零安装配置Hadoop环境流程总结,包括单节点,伪分布和完全分布几种情况。
资源推荐
资源详情
资源评论
1,安装虚拟机系统(在此使用RedHat Enterprise Linux 7),安装VMwareTools等
2,安装必要软件(来自Hadoop官网)
安装ssh 安装rsync
3,下载并安装java(在此使用java 1.8.0_172)
$ tar -zxvf <jdk存放的文件夹>/jdk-8u172-linux-x64.tar.gz -C /usr/local/
$ cd /usr/local/
$ chown -R root:root jdk1.8.0_172 更改jdk目录的所有者和所有组
4,配置java环境变量让所有路径可用
$ vi /etc/profile
在末尾添加
export JAVA_HOME=/usr/local/jdk1.8.0_172
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JRE_HOME/lib
注销当前用户,再次登录
$ java -version 验证安装
附https://wenku.baidu.com/view/994b2a0e336c1eb91a375d80.html
需要重新登录是因为/etc/profile文件在登录时读取
5,下载并安装hadoop(在此使用hadoop-2.8.4)(standalone模式――单节点模式)
$ mkdir ~/Hadoop 将hadoop安装在hadoop这个用户的主目录下
$ tar -zxvf <hadoop存放的文件夹>/hadoop-2.8.4.tar.gz -C ~/Hadoop/
2,安装必要软件(来自Hadoop官网)
安装ssh 安装rsync
3,下载并安装java(在此使用java 1.8.0_172)
$ tar -zxvf <jdk存放的文件夹>/jdk-8u172-linux-x64.tar.gz -C /usr/local/
$ cd /usr/local/
$ chown -R root:root jdk1.8.0_172 更改jdk目录的所有者和所有组
4,配置java环境变量让所有路径可用
$ vi /etc/profile
在末尾添加
export JAVA_HOME=/usr/local/jdk1.8.0_172
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JRE_HOME/lib
注销当前用户,再次登录
$ java -version 验证安装
附https://wenku.baidu.com/view/994b2a0e336c1eb91a375d80.html
需要重新登录是因为/etc/profile文件在登录时读取
5,下载并安装hadoop(在此使用hadoop-2.8.4)(standalone模式――单节点模式)
$ mkdir ~/Hadoop 将hadoop安装在hadoop这个用户的主目录下
$ tar -zxvf <hadoop存放的文件夹>/hadoop-2.8.4.tar.gz -C ~/Hadoop/
$ chown -R hadoop:hadoop hadoop-2.8.4 更改hadoop目录的所有者和所有组
$ vi ~/Hadoop/hadoop-2.8.4/etc/hadoop/hadoop-env.sh
添加export JAVA_HOME=<hadoop根目录绝对路径>
(该文件中有export JAVA_HOME=${JAVA_HOME}这一行,所以如果已经设置了jdk的环境变量,理论上是不需要做这一步的)
执行~/Hadoop/hadoop-2.8.4/bin/hadoop ,如果提示hadoop的用法,安装成功
$ sudo vi /etc/profile设置hadoop环境变量
export HADOOP_HOME=/home/hadoop/Hadoop/hadoop-2.8.4
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export CLASSPATH=$CLASSPATH:.:$HADOOP_HOME/lib/*(不清楚有什么用)
本来想在这个模式下配置下文件的存放目录,但是配置了之后发现只有tmpdir中有文件,而且运行的文件还是有部分放在/tmp中,所以就没有配置了
以下为试验MapReduce过程(在~/Document文件夹执行)
$ mkdir -p ~/Document/input 创建一个输入的文件夹
$ cp ~/Hadoop/hadoop-2.8.4/etc/hadoop/*.xml ~/Document/input 拷贝一些文件作为输入
$ hadoop jar ~/Hadoop/hadoop-2.8.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.4.jar grep input output 'dfs[a-z.]+' 执行样例――统计指定正则的字符串
$ cat ~/Document/output/* 查看输出
(再次执行需要删除output文件夹)
$ vi ~/Hadoop/hadoop-2.8.4/etc/hadoop/hadoop-env.sh
添加export JAVA_HOME=<hadoop根目录绝对路径>
(该文件中有export JAVA_HOME=${JAVA_HOME}这一行,所以如果已经设置了jdk的环境变量,理论上是不需要做这一步的)
执行~/Hadoop/hadoop-2.8.4/bin/hadoop ,如果提示hadoop的用法,安装成功
$ sudo vi /etc/profile设置hadoop环境变量
export HADOOP_HOME=/home/hadoop/Hadoop/hadoop-2.8.4
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export CLASSPATH=$CLASSPATH:.:$HADOOP_HOME/lib/*(不清楚有什么用)
本来想在这个模式下配置下文件的存放目录,但是配置了之后发现只有tmpdir中有文件,而且运行的文件还是有部分放在/tmp中,所以就没有配置了
以下为试验MapReduce过程(在~/Document文件夹执行)
$ mkdir -p ~/Document/input 创建一个输入的文件夹
$ cp ~/Hadoop/hadoop-2.8.4/etc/hadoop/*.xml ~/Document/input 拷贝一些文件作为输入
$ hadoop jar ~/Hadoop/hadoop-2.8.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.4.jar grep input output 'dfs[a-z.]+' 执行样例――统计指定正则的字符串
$ cat ~/Document/output/* 查看输出
(再次执行需要删除output文件夹)
剩余6页未读,继续阅读
资源评论
脑残1101
- 粉丝: 0
- 资源: 2
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功