下载  >  服务器应用  >  群集服务  > Hadoop实战培训教程(部署篇)_V3.pdf

Hadoop实战培训教程(部署篇)_V3.pdf 评分

Hadoop实战培训教程(部署篇)_V3.pdf
3.6格式化 NameNode 34 3.7启动服务… 3.8停止服务… 42 4安装 Zookeeper… 44 4.1获取安装包… 44 4.2解压安装包… 4.3修改环境变量…. ···· 4.4修改配置文件 ···· 45 4.5启动7o0 keeper 48 4.6停止上 Zookeeper :::::::·::.::::::::::::::·:.:::::: .:日::::aaa ,49 5安装HiVc 50 5.1获取安装包 50 5.2解压安装包… ::::a..a..a::.:::::: 50 5.3修改环境变量 a:::::::::a..:a:::::::::.a.:::::::::::.a 51 5.4配宣 My SQL权限 5.5修改配置文件 :::::::::: 53 5.6创建相关目录 :::::::::: 56 5.7启动元数据服务 ·看着垂·D :::::::::: 57 2 5.8启动Hive 158 5.9停止Hive… 60 6安装 HBase.. 61 6.1获取安装包 61 6.2解压安装包 61 6.3修改环境变量… ···· 1 6.4修改配置文件 ···· 62 6.5同步节点文件 ···· 70 6.6启动HB ase 6.7停止 HBasc .::...:::::::·:::::·:: …,77 7安装 Spark ·:::::::::·:::::::::::::::::::::: 78 7.1获取安装包 78 7.2解压安装包… ::::a..a..a::.:::::: 78 7.3修改环境变量 a:::::::::a..:a:::::::::.a.:::::::::::.a 78 7.4修改配苣文件… 7.5同步节点文件∴ :::::::::: 80 7.6启动 Spark 81 7.7停止 Spark… 86 8安装Kaka… aa::::::.::::..a::: 86 8.1获取安装包 86 8.2解压安裝包… 86 8.3修改环境变量 7 8.4创建目录. 7 8.5修改配置文件 ···· 9 8.6同步节点文件 ···· 94 8.7启动 Kafka 95 8.8停止 Kafka. 96 9安装FumC 96 9.1获取安装包 …,96 9.2解压安装包 …………,97 9.3修改环境变量… … 97 9.4修改配置文件… ..:a:::::::::..:·::::::::.a· ,,97 9.5启动F1ume 9.6停止 Flume… 98 10安装 Elasticsearch ::::::::: 98 10.1获取安装包 :::::::::: 98 4 10.2解压安装包 98 10.3修改环境变量 99 10.4修改配置文件…. 99 10.5启动 asticsearch.… 99 10.6停止 Elasticsearch 99 1概述 本文档用于指导(Base技术人员进行 Hadoop手工部署。相关 Hadoop组件如下 apache-hive-1.2.1-bin. tar. gz hadoop 2.6. 0 snappy. tar. gz hbase-1.1. l-bin tar gz jdk-7u65-linux-x64. tar. gz e spark-1. 6.0-bin-hadoop2 6 tgz zookeeper-3.1.6. tar. gz 2环境准备 IP 主机名 HDFS角色 YARN角色 HBase Spark Zookeeper 192.168.65.61 centos Name node Resource Manager MAster Master 192.168.65.6 centos62 DataNode NodeManager HRegionServer Worker QuorumPeerMain 192.168.65.63 centos DataNode Nodemanager HRegionServer Worker QuorumPeerMain 192.168.65.64 centos Datanode Node manager HRegionserver Worker QuorumPeermain 1 2.1安装操作系统 目前 GBase卬的编译版本为cent0s6.5,考虑学习时操作系统的兼容性, Hadoop学习、演示的操作系统统一使用cenηtηs6.5,安裝模式选择软件开发工作 安装后,系统的rpm数量为: [root@centos61]+ rpm -qawe-l 1516 2.2关闭 SeLinux 关闭每个节点的 seLinux,可修改 selinux的 config文件,修改后的内容如下: Lrootocentos61]* cat /etc/selinux/config f This file controls the state of selinux on the system F SELINUX= can take one of these three values enforcing- SELinux security policy is enforced. permissive SELinux prints warnings instead of enforcing disabled-No SELinux policy is loaded SELINUX-disabled F SEL INUXTYPE= can take one of these two values targeted- Targeted processes are protected mls - Multi level security protection SELINUXTYPE-targeted I root@centos61# getenforce 2 [root@centos61# 注:修改配置文件后,需要重启操作系统,才可以关闭 SELinux 2.3关闭防火墙 使用 servlce命令,关闭每个节点的防火墙。 Root@centos61# service iptables stop iptables: Setting chains to policy ACCEPT: nat mangle filte[ OK iptables: Flushing firewall rules OK iptables: Unloading modules OK Lrootdcentos6l]# service ip6tables stop ip6tables: Setting chains to policy ip6tables: Flushing firewall rules OK ip6tables: Unloading modules L OK Troot@centos61]# service iptables status iptables: Firewall is not running I root@centos61# service ip6tables status ip6tables: Firewall is not running [root@centos61]# 使用 chkconfig命令,可以配置防火墙是否随操作系统旳启动而自动启动。 [root@centos61]# chkconfig iptables of Root@centos61]* chkconfig ip6tables off [root Ocentos61]# chkconfig grep iptables tables 0: off l' off 2: off 3 off 4: off 5 off 6: off [root@centos61]# chkconfig grep ip6tables ip6tables O off 1: off 2: off 3 off 4 off 5 off 6 off 注:确认是否已经关闭防火墙的方式为使用 service iptables status命令,而不是通过 chkconfig丨 grep iptables命令。这一点非常重要,切记。 2.4配置 hosts 修改每个节点的 hosts文件,参考内容妃 root@centos61# cat /etc/host 127.0.0.1 localhost localhost localdomain localhost loca lhost 4.local domain 4 localhost localhost localdomain localhost localhost. local domain 6 192.168.65.6 1 centos61 192.168.65.62 centos62 192.168.65.63 centos63 192.168.65.64 centos64 注:不要在127.0.0.1行中,出现主机名。 2.5配置节点互信 使用ssh- keygen和ssh-copy-id配置节点互信,具体操作如下: Root@centos61# ssh-keyger Generating public/private rsa key pair. Enter file in which to save the key (root/. ssh/id rsa) Enter passphrase (empty for no passphrase Enter same passphrase again: Your identification has been saved in/root/ ssh/id rsa Your public key has been saved in/ root/ ssh/id rsa. pub 4

...展开详情
所需积分/C币:9 上传时间:2017-04-12 资源大小:888KB
举报 举报 收藏 收藏
分享 分享
hadoop实战培训

hadoop实战培训

立即下载
hadoop实战培训课件

对于hadoop的介绍、发展趋势作了详细的分析,同时对于io等重要类作了细致的讲解,还包含经典的实例

立即下载
Hadoop实战培训教程(部署篇)_V3

Hadoop实战培训教程(部署篇)

立即下载
Hadoop实战培训教程(部署篇)_V3.pdf

Hadoop实战培训教程(部署篇)_V3.pdf

立即下载
Hadoop实战

Hadoop实战 Hadoop实战 Hadoop实战 Hadoop实战 Hadoop实战

立即下载
hadoop实战

hadoop实战

立即下载
ModbusTCP/RTU网关设计

基于UIP协议栈,实现MODBUS联网,可参考本文档资料,有MODBUS协议介绍

立即下载
html+css+js制作的一个动态的新年贺卡

该代码是http://blog.csdn.net/qq_29656961/article/details/78155792博客里面的代码,代码里面有要用到的图片资源和音乐资源。

立即下载
iCopy解码软件v1.0.1.7.exe

解ic,id,hid卡密码破解ic,id,hid卡密码破解ic,id,hid破解ic,id,hid卡破解ic,id,hid卡密码密码卡密码破解ic,id,hid卡...

立即下载
分布式服务框架原理与实践(高清完整版)

第1章应用架构演进1 1.1传统垂直应用架构2 1.1.1垂直应用架构介绍2 1.1.2垂直应用架构面临的挑战4 1.2RPC架构6 1.2.1RPC框架原理6 1.2.2最简单的RPC框架实现8 1.2.3业界主流RPC框架14 1.2.4RPC框架面临的挑战17 1.3SOA服务化架构18 1.3.1面向服务设计的原则18 1.3.2服务治理19 1.4微服务架构21 1.4.1什么是微服务21 1.4.2微服务架构对比SOA22 1.5总结23 第2章分布式服务框架入门25 2.1分布式服务框架诞生背景26 2.1.1应用从集中式走向分布式.26?

立即下载
Camtasia 9安装及破解方法绝对有效

附件中注册方法亲测有效,加以整理与大家共享。 由于附件大于60m传不上去,另附Camtasia 9百度云下载地址。免费自取 链接:http://pan.baidu.com/s/1kVABnhH 密码:xees

立即下载
电磁场与电磁波第四版谢处方 PDF

电磁场与电磁波第四版谢处方 (清晰版),做天线设计的可以作为参考。

立即下载
压缩包爆破解密工具(7z、rar、zip)

压缩包内包含三个工具,分别可以用来爆破解密7z压缩包、rar压缩包和zip压缩包。

立即下载
source insight 4.0.0087 注册机序列号Patched(2017/10/17)

最新的sourceinsight4.0.0087和谐license及和谐文件。真正的4087版本,使用附件中的license文件,替换sourceinsight4.exe

立即下载
Java项目经验汇总(简历项目素材)

Java项目经验汇总(简历项目素材)

立即下载
支付宝转账demo

支付宝单笔转账,实现提现功能(内有demo实例,望大家多多提意见)

立即下载
算法第四版 高清完整中文版PDF

《算法 第4版 》是Sedgewick之巨著 与高德纳TAOCP一脉相承 是算法领域经典的参考书 涵盖所有程序员必须掌握的50种算法 全面介绍了关于算法和数据结构的必备知识 并特别针对排序 搜索 图处理和字符串处理进行了论述 第4版具体给出了每位程序员应知应会的50个算法 提供了实际代码 而且这些Java代码实现采用了模块化的编程风格 读者可以方便地加以改造

立即下载
计算机中丢失api-ms-win-crt-runtime-l1-1-0.dll的修复方案

计算机中丢失api-ms-win-crt-runtime-l1-1-0.dll的修复方案

立即下载
最新的微信小程序源码

最新的微信小程序源码70多个很多行业都有加后台

立即下载
数据库系统概念第六版答案(最全)

史上最全的数据库系统概念第六版(机械工业出版社)课本答案

立即下载