大数据实验总结_全部 大数据实验总结_全部 大数据实验总结_全部
大数据实验总结 大数据实验总结 o实验总要求 o基础环境 o心得体会 实验总要求 给五台主机,先后配置 torque, mpich, mongodb, hadoop, zookeeper, hbased · torque 有主有从 master: lk slave. slave2-5 mpich 各台机器是平等的 mongodb 需要分片,副本集,还有各种角色的配置 kk slave slave slaved slaves mongos mongos mongos config server config server config server shard shard 1 shard shard shard shard shard shard shard shard shard shard 一台机器可以有不同的角色,但是要给不同角色配置不同的端口 副本集 端口 config server 21000 mongos 20000 shard 27001 shard 27002 shard 27003 shard 27004 hadoop, zookeeper slave2 slaves slave slaves namenode datanode nyn resourcemanager ouraInode kynyyy yyy nynyy nynyn zookeeper n zookeeper只在前面三台机器上安装,安装结果应该是一个eade和两个 follower hbase master: lk backup-master: slave regionservers: slave3-5 基础环境 基础环境就是所有软件安装中都需要的 免密码登陆 方便交互 ·关闭防护墙 防止各台机器在交互时候通信受到影响 /etc/hosts th /etc/hostname 给各个机器取别名,要一致 心得体会 整个环境其实搭了很久,属于边摔跤边学会走路的那种,参考了很多网上的资料,可以说是既是帮了 很大的忙,又是挖了很大的坑。 因为以前没有接触过这些,所以是网上的教程把我带上路,但是因为每个人的机器什么的都是不同 的,要求也不一样,所以单纯的粘贴复制肯定是不行的,要小心的把每个点都看清楚然后再进行配 置,比如,我在配置 MongoDB的时候,有一个地方P忘了改成自己机器的P,导致浪费了很多时 间。 出现问题不可怕,多去网上看看别人的解决方法就可以了 整个集群的环境,有一些关键词吧:交互通信,主从控制等,我感觉还是在配置过程中感受到了这方 面的思想 torque和 MongoDB是比较难搭的。torαue是一个搭的,一是刚刚开始做,所以比较不熟悉,二是 torque主从的搭建不一样,需要理清哪些在 master上面搭建,哪些在save上面搭建;M。 ngoDB的 难点在于组件多和配置多, config server, shard分片和 mongos的配置,比较繁琐。 hadoop中等难度吧,其他的 mpich, hbase都不是很难 我这次实验的最大感受是要学会看日志,日志真的很有用,只有知道哪里错了才能对症下药 还有,要学会积累工具。在 hadoop搭建的时候,看到网上基本都用到 了dep1oy.conf, deploy.sh和 run remotecmd.sh这三个文件,通过这三个文件,可以 很方便的在一台机器上实现对多台机器的操作(前提是免密登陆和权限足够),就不需要在集群搭建 的时候经常进行切换,对每个机器做重复的操作。 torque配置 torque配置 o实验要求 o通用环境配置 关闭防火墙 无密码登陆 修改 hosts文件 o torque安装 serve配置 节点配置 创建队列 测试 串行文件测试 并行文件测试(结合MPCH) 出现错误 要点 实验要求 在五台机器上搭建 torque分布式集群环境 Ik: master slave2~5: slave节点 通用环境配置 关闭防火墙 1.查看防火墙状态 service iptables status 2.然后永久关闭防火墙,使用 chkconfig iptables o仟命令,此时当前虚拟机的防火墙还没有关 闭。只有在关机重启后才能牛效。 无密码登陆 将A的公钥放进B的~/. ssh/authorized keys,那么A就可以无密登陆B 先生成公私钥对 ssh-keygen 默认放在~/.Ssh/中 将公钥弄进B中 文件传输:xshe的z和sz 将公钥放入~/.sh/ authorized keys 用指令 cat id rsa pub >>w/ ssh/authorized keys 配置完成之后,就可以直接 ssh ip进行登陆 修改 hosts文件 ·/etc/ hosts IP+昵称 2,10,113,19,11k 3.10.113.19.2s1ave2 4.18.113.10.3s1ave3 5.10.113.10,4s1ave4 6.10.113.10,551aVe5 /etc/hostname 在每个机器上的这个文件夹里面改成上面的对应的昵称 eg:在k中,这个文件里面就是k,在10.113.10.2中,就是save2 torque安装 server配置 下载 torque wgethttp://wpfilebase.s3.amazonaws.com/torque/torque-4.2.9.tar.gz 或者在官网下载 解压文件 1. tar -zxvf torque -XXX 2. cd torque-XXⅩ ·编译安装 1.∥/解决依赖问题 2. yum install libxm12-devel openssl-devel gcc gCc-C++ boost-devel libtool-y 4.//./ config这个我也不是很懂,具体要看交档 5../configure --prefix=/usr/local/torque 7.//编译安装,还有构建 packages 8,//一定要 make packages后面有用 9. make 10. sudo make install 11. make packages 13.∥/将生成的程序放人/etc/init.d/,便于启动 14. cp contrib/init. d/ipbs server, sched, mom, trqauthd /etc/init. d/ 15 16. for i in pbs server pbs sched pbs mom trgauthd; do chkconfig --add $i; hkconfig ion; done 设置环境变量 1.∥/具体看本机的路径 2. TORQUE=/usr/local/torque 4.//配置环境变量 5. echo " TORQUE=$TORQUE">>/etc/profile 6. echo " export PATH=\S PATH: $TORQUE/bin: sTORQUE/sbin">>/etc/profile 7. source /etc/profile 9. echo /usr/local/lib>/etc/ld. so. conf.d/torque. conf 10. ldconfig 11../torque. setup username 初始化 'torque server db /torque. setup root 启动 pbs server、 pbs sched、 pbs mom、 trqauthd几个服务 1. for i in pbs server pbs sched pbs mom trgauthd; do service i start; de one 说明: Torque主要是由三个主要部件组成 pbs server PBs服务守护进程,负责接收作业提交,位于服务节点上 pbs sched PBS调度守护进程,负责调度作业,位于服务节点上 pbs mom PBS MOm守护进程,负责监控本机并执行作业,位于所有计算节点上 ·配置 torque 创建/a/spoo/ torque/ mom priv/config文件并写入如下内容 Spbsserver master 2. logevent 225 ·将计算节点加入到服务节点中 编辑/var/ spool/ torque/ server prIv/ nodes文件并写入如下内容 1.1knp=2 2. slave np=2 3. slave np=2 4. slave np=2 5. slaves np=2 ·配置 hosts文件 1. sudo vim etc/hosts 添加自己所控制主机的P以及主机名 类似于 1.10.113,10,11k 2.10,113.19.2s1aVe2 3.18.113.18.3s1ave3 4.19.113.19.4s1ave4 5.19.113.19.5s1ave5 这里注意,各个主机的名字最好改一下,不要用一样的,因为 torque要用node节点的名字查找 P进行通信,同时,所用node节点名字要与主机名对应 ·启动 torque for i in pbs server pbs sched pbs mom trgauthd, do service $i restart; done IrootaLk -]# for i in pbs server pbs sched pbs mom trgauthd, do service si restart: do Restarting phs server (via systemct1): Restarting pbs sched (via systemctL) OK Restarting pbs mom (via systemctL) Restarting trgauthd (via systemctl) [rootalk-1#I ·节点配置 然后Sudo启动qmgr 1. sudo gmer 若提示没有该指令,则进入/us/ ocal/ bin然后sudo启动。 启动后执行以下指令:(括号内可以不填,用简写即可) 1.c( reate)q(ueue) abc abc为队列名 2. s(et)q(ueue) abc queue type=execution 3. s(et) queue)abc enabled=true 4.s(et)s( erver) default_ queue=abc设置默认队列s(et)s( erver) scheduling=true 5.c(reat)n(ode) master添加节点,夏填写之前配置的主机名,不要填Ip 6. quit) 7.此时用 pbsnodes查看节点状态,如果 master状态为free,则是正常的,否则可以杀 8.掉mom进程然后重启一下 节点配置 ·首先都要配置无密码登陆,/etc/ hosts,/etc/ hostname这些文档 ·从 server中拷贝文件 将这两个文件拷贝到计算节点上(或者是共享磁盘上),登录进计算节点,运行: /torque-package-mom-linux-1686sh --install 2../torque-package-clients-linux-1686sh --install · hosts设置 与服务节点相同,编辑/etc/ hosts,添加相关主机名与|P 1. vim /var/spool/torque/mom priv/config 添加内容 1. $pbsserver master hostname running pbs server 2. logevent 225 bitmap of which events to Log 启动mom服务 同样进入/usr/10ca1/sbin 1. sudo pbs mom