没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
二、各类配置
①基础环境配置:
(1)ssh 的配置
1、ssh-keygen -t rsa 生成一个私钥 id_rsa,和一个公钥 id_rsa.pub,在文件
/root/.ssh/目录下
如果系统中已经生成了密钥,但是自己的主机 ip,或者 hostname 改变的时候,
需要重新生成,将原来的.ssh 目录删除
2、cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 这一步是将公钥拷贝
到.ssh 目录下,并且新建一个文件 authorized_keys,将公钥写进去
3、分别第一次用命令 ssh localhost 以及自己主机名 ssh hadoop-spark 来登录,
在显示
后,输入虚拟机的登录密码,两次的第一次登录都需要输入,然后选 yes 即可.
(2)namenode 的 formate
成功的话显示如下:
(3)各类配置文件的具体参数:
Core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop-spark:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/data1/tmp</value> (在重新 format namenode 时
只需要把此文件目录修改
</property> 一下即可,不用删除其他东西)
</configuration>
Hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
Mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop-spark:9001</value>
</property>
</configuration>
Hadoop 的 masters:
hadoop-spark
hadoop 的 slaves:
hadoop-spark
spark 的 masters:
hadoop-spark
spark 的 spark-defaults.conf 可以不用配置
spark 的 spark-env.sh
export SCALA_HOME=~/user/scala-2.10.4
export JAVA_HOME=/root/user/jdk/jdk1.8.0_101
export SPARK_MASTER_IP=hadoop-spark
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8080
export SPARK_WORKER_CORES=1
export SPARK_WORKER_PORT=7078
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_WORKER_INSTANCES=1
etc/profile:
export JAVA_HOME=~/user/jdk/jdk1.8.0_101
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH
export SCALA_HOME=~/user/scala-2.10.4
export PATH=$PATH:$SCALA_HOME/bin
export HADOOP_HOME=~/user/hadoop-2.5.2
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_hadoop_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
网络
sysconfig/network:
NETWORKING=yes
HOSTNAME=hadoop-spark
sysconfig/hosts:
127.0.0.1 localhost
192.168.200.180 hadoop-spark (这里一个 ip 只能对应一个 hostname,多个
可能会出错)
C:\Windows\System32\drivers\etc\HOSTS
192.168.200.180 hadoop-spark
修改时间:
[root@hadoop-spark bin]# date -s 11/01/2016
2016 年 11 月 01 日 星期二 00:00:00 CST
[root@hadoop-spark bin]# date -s 10:41:00
2016 年 11 月 01 日 星期二 10:41:00 CST
(1)测试各个端口:
剩余15页未读,继续阅读
资源评论
7323
- 粉丝: 22
- 资源: 328
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功