CDH的安装和使用

所需积分/C币:17 2015-12-08 15:01:03 1.12MB PDF

开源的hadoop生态圈的安装和维护很难,通过cloudera公司的cdh来管理,但是对于CDH的安装对于初学者总会存在一定的困难,本文档详细介绍CDH的离线安装和使用
我的技术博客htp/ blog csdn. net/shenfuli大数据交流群:361818496 群集安装 选择存储库 Cloucera建以使用pae来代管软包进行安装,因为 parcel可以使务二进制文什的部和开级白动化,让 Cicudera Marager轻松地官理群集上的软竹。如军选不使用 ud,当有软件更新可用时,将要您手动什级群集中所有土机上包,并公胆止您使用 Ckuueia Mal laye的 动开级巧能 选择压法使数包自 °使用Pana使议).更多达页 CDH-544-1cu5.4.4p0.4 CDH-471-1C4.7.1p0.47 对于北 CALdera Manager质本(4m太新CmH版本不完显示 Hit Parcel C ACCUMULC-160-1 cdh5 1.4 p0.116 OACCUMULO-1.4.4-1. cdh4.6. 0. p0.66 N回 12345878 M继续 d合htt172.221876/cdh 收藏·手机收藏夹您还没有收藏,点击导入 c为CDH群集安装指定主机。- Cloud x[ Index of/cdh 检查CDH服务目录是否正常 Index of /cdh ame Last modifi Size Description Parent direc ?CDH-5.4.0-1cdh5.4.0.p0.27-e16.parcel14-May-201520:3012G 2CDH-5.4.0-1 cdh5.4.0.p0.27-e16 parcel shal 14-May-2015 20:3041 manifest. ]son 14May-201520:3042k 更多选项 OHIIPS 木地 Parcel存儐库路径 /opt ' cloudera/parcehrepc Parce日录 /opt cIouderarpa.els 需弦雪代 CDH离线安装指定对服务目录 远程 Parcel存储库URL htp:i/17222.1075cdh t-c 我的技术博客htp/ blog csdn. net/shenfuli大数据交流群:361818496 选择存储库 们果选柽不使 择法○使用数据包 用Pare(连w)自吏多选顶 选择cDH的版本 OcDH540-1cdh540.027 点击多选项”,指定本地日录安装后,这里会 七现需安安装的CD版本,选中一继续 选择要安装在机上的 cloudera Manager Agent特定发行 比 Cloudera Manager server的匹配发行版 O目义存诺库 M返回 5)JDK安装 群集安装 JDK安装选项 LICENSE THE SOF TWARE TO YOU ONLY UPON THE CONDITION THAT YOU ACCEPTA⊥CGFm正 RMS CONTAINED IN THIS BINARY CODE LICENSE AGREEMENT AND SUPPLEMENTAL LICENSE TERMS(COLLECTIVELY "AGREEMENT"). PLEASE READ THE AGREEMENT CAREFULLY BY SELECTING THE"ACCEPT LICENSE AGREEMENT (OR THE EQUNVALEND BUT TON AND/OR BY USING THE SOF TWARE YOU ACKNOWLEDGE THAT YOU HAVE READ THE TERMS AND AGREE TO THEM. IF YOU ARE AGREEING TO THESE TERMS ON BEHALF OF A COMPANY OR OTHER LEGAL ENTITY, YOU REPRESENT THAT YOU HAVE THE LEGAL AUTHORITY TO BIND THE LEGAL ENTITY TO THESE TERMS F YOU DO NOT HAVE SUCH AUTHORITY OR IF YOU DO NOT WISH TO BE BOUND BY THE TERMS. THEN SELECT THE"DECLINE LICENSE AGREEMENT"(OR THE EQUIVALENT) BUTTON AND YOU MUST NOT USE THE SOFTWARE ON THIS SITE OR ANY OTHER MEDIA ON WHICH THE SOFTWARE IS CONTAINED 1. DEFINITIONS. "Software" means the software identified above in binary form that you selected for download, install or use (in the version You selected for download, install or use)from Oracle or its authorized licensees, any other machine readable materials(including, but not imited to, ibraries, source files, header files, and data files), any updates o v enu curecliuns provied by Cracle, all arry user manuais programming juices and oier uocutmenlaliunn provided lu you by Oracle under this Agr eeimelIL "General Purpuse 回安装 oracle lava5开发工具包(JDK 选中此复选框以接受口rac二进制代码许可协议“井安JDκ.取消选中以使用当前安的Jκ 几出A 1234578 M返回 (6)进入单用户模式,默认 我的技术博客htp/ blog csdn. net/shenfuli大数据交流群:361818496 群集安装 启用单用户模式 仅受cDH52及更高版本支持。 认情况兄下,服努之程以不同用广身份在系统中运行。例, HDFS DETaNodc以用广hdfs的房份运行, HBasc Rcgionscrvcr以月广"hba3c”的身分运行。启用单个月广模式 tera Manag配置为以单个用户的份运行服务进程,默认为 oudera-scm,从而使受回眠务与系统化服务之间的分离优先于受管服务之间分离 此项的主要益处是 Agent不作为根运行。但是,此模式将使安装变得复,这将在文档中作完茔介绍。最明显的是,在常规模式下由Aert自动创建的目录必须通过相应权限在每 主机上手动创,并且心必狐为配互的用户设置s0(同等)访间叹限 在羊个月户模式与常规模式之问来回切换不受支持 单用户r K返回 H继续 7提供SH登录凭据 提供ssH登录凭据 安装 Clcudera包需要有主机的 root iF问权跟。此安装程序将通过ssH连到您的主机,然后直抽以rot用户身份登录,或奢以另一个具有变为root用户的无密码 sudo/brun权限的 用户身份登录。 (无密码 sudo/brun变为toot用户) 对以上选定的用户,您可通过密妈或公钥易份捡让连接 身份验证户法·所句主机接受相同密码 这里通过昔逼用户来完成,用户名和密码 hadoop/hadoop O所有主机接受相同私钥 输入密码: 同时安装的数量0 (同时还行多个安装时将耗要大量的网络带宽和其他其他系统经游) M返回 (8CDH安装到指定主机 我的技术博客htp/ blog csdn. net/shenfuli大数据交流群:361818496 群集安装 所有主机上的安装均失败。 已成功完成1个主积中的0个 e安装失败后已在1主机上篮线。C重试失败的主机 主机名称 P地址 17222.187 8安装失败,无法检测根程限 重式|详信息 N返回 H继续 发现出现以上错误,下面通过以下步骤解决: 1、点击“详细信息“查看错误日志 ≡无法检测根权限。(当前步骤) 上次刷新时间:2015-7-191:5923PDT /trm/scn prepare node. xa4rrDAR sing SSE CLieNt to get the scm hostname: 172.22.187. 51094 22 正在启动安装脚本 正在获取安装锁 止在检测根权限 ettectivE TITD 18 0 DEGIN which pbrun chich: rc pbrun -n [/usr/local/Din: /Din: /usr/bin) END BEGIN uG -s id [sudc] password for hadoop END (1 月普道用户安装:这里给出一提示:使用sudo:但是sudo过裎需要输入密码 故退,那么把 hadoop月户设置无密码验正的sudo clcoing logging f:ic dcocrip=or n[关闭 2、设置普通用户 hadoop的sudo操作为无密码登录 # Al low root to run any commands anywhere root ALL=(ALL) ALL h ado ALL=CAL NOPASSWD: ALL 3、查看/ etc/yum.repos. d目录,发现多出个文件 我的技术博客htp/ blog csdn. net/shenfuli大数据交流群:361818496 [root@fl xy 31 cm]# cd /etc/yum. repos. d/ Trootaflxy 31 yum. repos. d]# 17 total 28 rw-r--r--l root root 1970 Jul 18 23: 59 Centos-Base repo rW-r--r--.1 root root 638 Nov 27 2013 Centos-Debuginfo repo rwer--r- rootroot 630 Nov 27 2013 Centos-Media repo rW-r--r--.1 rootroot 3664 Nov 27 2013 Centos-Vault repo rw-r--r--. 1 root root 102 Ju1 18 19: 59-cloudera-managerrepo rw-r--r root root 195 Sep 17 2014 cloudera-manager repo rpmnew -rw-r--r rootroot 442 May 8 2013 pgdg-93-centos repo rA+nyu21、 m renee d [root@flxy31 yum repos. d]# more cloudera-manager.repo.rpmnew oudera-manage name=Cloudera manager baseurl=http://archive.cloudera.com/cm5/redhat/6/x86-_64/cm/5 gpgkey=http://archive.cloudera.com/cm5/redhat/6/x86-_64/cm/rpm-gpg-key-cloudera root@fly 31 yum. repos. d]# more cloudera-managerrepo [- - manager] name Cloudera manager, version5 4.0 baseurl=http://fixy31/cm5.4.0 gpgcheck 0 4、删除 cloudera- manager.repo. rpmncw后,点击“重试“按钮 4.Ⅰ正在刷新元数据阶段 群集安装 正在安装。 已成功完成龙1个主机叫的0个.0中止安须 直出现刷新元数据的情况 主机名称 P地址 状态 fxy31 17222187.6 下杆局断气亓数据 详细信息口 42耐心等待一会儿,就会出现正在安装jdk 正在安装。 已成功完成1个主机中的0个。自中止安装 主机名称 flx) 31 17222187,6 正在安装ck包 连信息 点击“详细信息“按钮,出现一下信息 我的技术博客htp/ blog csdn. net/ shenfuli大数据交流群:361818496 ≡正在安装jk包…(当前步骤 上次刷新时问:2015-7-1922059PDT Re sn Iving Dependence只 RunnEng tr package ]ak.866 2000: 1.5.0 31-fcs will be installed Package Arch verB-on Repository siza ritalin jkx86642000:1.6.031-u山uE-age68M Octal download size: 68M 工rta11 ed size;113M Downloading Package 4.3耐心等待会儿,就会出现正在安装 cloudera-manager-agent包 群集安装 正在安装。 主机名称 P地址 状态 1IXV31 172221876 t正在安装 cloudera-manager-agent包 细信息口 点击“详细信息“,出现一下信息 正在安装 cloudera- manager-ent包(当前步骡 上次时问:2015-7-192:25:11PDT rpcbind x86640.2.0-11.=16sa3e51 Updating for dependencies cyrus-3a1xB6642.1.23-15.=155.2 updates7 cyx3a1-1x85642,1.23-15.15-6.2 update913x u55a1p1ainx6642.1.2315.=166,2 uraate=-1k 4x86644.7.25-19,=165pae3563k db4-ti1=xee44.7.25-19.=155 update120k er1xDE644;5.10.1136.=16.1 locates10M peIl-Moaule-Pluggable x86 64 1:3.30-136,el6 6.1 upcatEs 40 k perl-Fod-Escares x86 641: 1-04-136elc 6.1 updates 32 k 1 Tad SinmpLe xoc 1:3.13 L30clt G 1 update=. 412 pex1-11sxE664:5.10.1-136.2156.1 update57EK rorsacticn surmmary Install 10 Package(s) pgrade ll Hackage (s) 。 tol downland DowrIcading Packages 4.4上一步安装后,提示安装成功 我的技术博客htp/ blog csdn. net/shenfuli大数据交流群:361818496 群集安装 已成功完成安装。 土机名称 P地址 状态 迥回 12545078 点击“详细信息“,具体信息: 三已成功完成安装。(当前步骤 又届新时问:2015-7-1922821PDT >>cpt1an3,rea-1ze(Be15,·a,·*kw) S File /usri-ibb4,cmE/ ageat/buildyenvlib/Fythcr26site-packages gupax7izor-30-Py26egg/suPervisor/options. py, line 310, in realize prucess config(l Pi1e"/1T/1bh4!cmf!ay=nt:/halr/env/ih/ryther2.6/91te-nackAgeR!npey?1nr-3.-ry7.6.°gg/ nt.inns. ny, 11 prccess conf:g nig_上i1 >>ic"/uar/-b54/cmE/agnt/buid/cnv/1ib/ythcr2.6/itc-packagc/aupix-2.0-y2.6.cg/=urcrvior/option3,py"1inc353,in conf-c Il_e > self.u ib54/umL dg=:L/build/eiv/lib/FyLlcn2 6/siLe-packayessuHe-visur-3.0-Hy2 6eyy/ ns,py"1i:1±1,⊥usde >>[19/Jul/20-5 02: 28: 05 +2000] 6940 Main'lhread tmpfs INFo successfully mounted tmpfs at /var/run/cloudera-scm-agentiproce33 erc oI agent _ oc3 已成功完成脚本安装 (9)主机安装成功后,点击“继续“ 群集安装 已成功完成安装 已成完成1个士机中的1个 P地址 fh/31 17222.107.5 √已成功完成安装。 详纽信息 234g 我的技术博客htp/ blog csdn. net/ shenfuli大数据交流群:361818496 9.1点击“继续“按钮,出现界面,完成已经下载过程 群集安装 正在安装选定 Parcel 选定的Pare正在下载并安装在群集的所有主机上 vcDH540-1cd5.4.0p0.27 三下载27% 已分配00 解压:00 已激活:00 N返回 继续 上述过程一直在安装,这个过程非常长,请耐心等待。过会会出现已经下载100% 9.2完成已经下载过稈,对已分配,已解压,已激活处理 正在安装选定 Parcel 选完的Pare上在卜载并安装在群集的所有主机上 cDH5.4.0-1cdh54.0.0327 已下载11% 已分m 已解压 M返回 B345 N继续 群集安装 正在安装选定 Parcel 选走的Pau王在下我并安装在砰集的所有主机上 vcDH54.0-1.cch5.40.pC27 已下戴:100% 已分0125MBs 已好压0M1 已活:01 上述过程,等了好久。成功要来了,希望大家可以耐心等待,在解压缩期间将近话费30分 钟

...展开详情

评论 下载该资源后可以进行评论 1

qq2Shi 不错很好的资源,
2016-07-08
回复
img
走在前方
  • 签到新秀

    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 技术圈认证

    用户完成年度认证,即可获得

关注 私信 TA的资源

上传资源赚积分,得勋章
最新资源