spark集群部署

一、环境配置：三台linux redhat 5 服务器
三台服务器的hosts :
   192.168.1.50  mymast
   192.168.1.60  vmmast
   192.168.1.70  cpmast

三台服务器的profile文件：
JAVA_HOME=/usr/jdk1.6.0_13
PATH=$PATH:$JAVA_HOME/bin

三台服务全部禁用iptables


二、ssh免密码登录配置
三台服务器的ssh免密码登录：前提是已经安装了ssh应用，并启动的ssh服务，如果没有要安装
//设置mymast--->cpmast  在mymast服务器上操作：
ssh-keygen -t rsa         
cp id_rsa.pub authorized_keys
scp authorized_keys cpmast:/~/.ssh/    //mymast-->cpmast  前提是 cpmast的 .ssh目录要存在

cpmast服务器上操作：
mkdir /~/.ssh
chmod 644 authorized_keys

//设置cpmast--->mymast 还是在cpmast服务器上操作
ssh-keygen -t rsa
cp id_rsa.pub >> authorized_keys   //合并密钥
scp authorized_keys cpmast:/~/.ssh/

设置完成之后cpmast 与 mymast 互相ssh试一试，然后再用相同的方法把vmmast服务器也做设置，所有完成之后，authorized_keys文件中应该有
三条密钥，在三条密钥的最后分别是：root@vmmast、root@mymast、root@cpmast  ，本例使用的是root用户操作，hadoop、spark等应用是放在
hadoop用户下

三、创建用户和组:
groupadd hadoop
useradd -g hadoop hadoop

hadoop、spark等应用是放在/home/hadoop用户下

四、配置hadoop
只需配置下列三个文件：
core-site.xml
hdfs-site.xml
slaves

core-site.xml的配置：
<configuration>

                <property>
                                <name>fs.defaultFS</name>
                                <value>hdfs://mymast:9000</value>
                </property>
       <property>
                                <name>io.file.buffer.size</name>
                                <value>131072</value>
                </property>
       <property>
                                <name>hadoop.tmp.dir</name>