hadoop cdh版本伪分布式集群搭建图文教程

所需积分/C币:48 2017-08-18 10:48:50 3.89MB PDF
249
收藏 收藏
举报

hadoop cdh版本伪分布式集群搭建详细图文教程
Eh Haduop-Lirux L Hadoop Linux 升比点机 要击(GCED 20 GB CDVD(D日白动检测 动测 专网道酸器 UsB端匿 声 日动 曝示器 白测 山键入对该枫机的位述, 况置文件:EAH inux\CentO 4、第一次开启会有一个警告,点击【我已移动该虚拟机】 牛t)细台石声拟机(M说项卡1动(H 回,6四宣8 5 Hadocp-Linux x a 亡处短入内过行 retest 注三续别第、awou知 加怎六迫色,回各我已复制该虚机 5、启动起来之后需要输入用户名和密码,这里为了方便起见,我直接用root用户登录,但 是在实际生产环境中般需要创建个专门管理大数据框架的用户和用户组,这里需要注意 下,密码是123456 件铜查虑报析M活卡①的 在比处键入内客行搜东 日我的屯脑 最 JuuM-LIuA N閎 cancel[ login 将输入定向到读史拟机,请王闪午击按rl4+ ⑤中→ 6、登陆进去以后,右键,选择【 open in termina|】,打开命令行窗口 g 1新坚小 AO□C凸△·回轮廓 ■■■■□□■■■ 分OPq分·公 板 文件①扁但查盛拟机M选项卡①助上 Q车出处钟入内容法行左 Applications places systcm國隐回 我电陪 5 I centes H=doop-Lin 7、定位到/us/ software目录下,可以看到已经准备好的 hadoop安装包,ch版本的,方便 与其他组件集成使用。 文科编差(E C拟程M远项卡①誓助 Q此处镜入内容行像亲 日圈我的牛胞 d ginkel Ln rootoqinke: /usr/software 史共享拟机 「eEtˇ ew Search Terminal helD ooLs Home ruol@qike5 soFtware 1口 Trash 输入定向列波点拟机,请车点内部单击或按cr1G ⑤中力幽 8、解压安装包到当前目录 oIledoop-Lnux-VMwarsWorkstatian 件)查看机N)达项长①帮动出 Q在此处入内客行像京 中 Hadoop-Linux x 共感机 ilc Edit vicw Scarch Termi rootaqinke softwarEl* ter -xIf hadocp-26.0-cdh5 7 1. tar. gz root s Homc 零料际人回物店积引,吉什来丙部单壬或探tt+G 口■◎ 2017B/1B File Edit View Search Termina Help [rcct@cine software]* ls Trash 拟机内部兰击或按Cu|+G ⑤中°争四品冒 ls查看一下,已经解压好了,而且jdk我也已经为大家安装好了 9、接下来叮以配置 hadoop的配置文件了,在这里需要说一卜,修改配置文件最好用 notepad 修改比较方便,也可以用ⅵ,或者ⅶm命令育接修改,但这样很慢,而目容易出错,η otipad 怎样远程修改 linux主机上的文件,下一次再分享,可以关注【大数据之佳】微信公众平台, 本教程最后面有二维码,平台上有更多其他大数据从入门到精通的图文教程。 首先定位到配置文什所在目录 ao Fadoor-Linux-VMwere Workstation 义件来()查百虚似(M边项卡①套到 6回日 Q入内过行换卖 日的毛 L Hauup-LitIux ooteqinko:ucr/softwaro/hadoop-26.0-cdh57.1'etc,hadoop 上er:∠ ew search lermInal Hep IrootGqinke software]*Is pot s Hom= 1 Hadoop.2.6. Acdh5.7. Itar: gz n51.8.8 Irootcqinke softvarel# cd hadocp-2.6.e-cdh571/etc/hadoop 40 要将东人向到打机,想机刁评午士或实Ctr 四■ Io Hedo2o-nux \Mware Worketstion 文件沸)百虚机选项卡①帮山 它66 Halow Limux X 在出处入内容拼行挫玄 2哪鸦 t qinkc03 I's.Lnux ootaqinke:/usr/software/hadoop- 2.6.0-cdh571/etc/hadoop earch lerminal HEl h5. 7.1 hedoop-2 6.0-cch571 tar. g2 jdt 8.3 k已50LwdE1# tt hadoop-2.6.e·ch3.7.1/el/hdou prcd en\,sh httEfs-og43. properties mapred-queues xnl template exeaiforcto hadoop-env cnmd Gorer, xnl, xcmd fErries kns-log4:properties kns-sTte. m [roo-eqinke hadoop]*: ,内部土成社Ctl+C S中J,回品冒 10、修改配置文件。为方便起见,我们用 notepad对配置文件远程修改,【大数据之佳】公 众平台有 notepad远程连接服务器的教程,新手也可以百度一下, (1、)首先我们用 notepad打廾 core-sIte.xm配置文件,添加以下配置信息: <name>fs defaultS</name> <value>hdfs: //qinke 8020//value> /property> property <name>hadoop. tmp dir</name> <value>/usr/ software/hadoop-26.0-cdh57 1/tmp</value> </property> property> <name>hadoop. proxyuser root hosts</name> </property> <property> <name>hadoop. proxyuser root groups</name> value>*</valu </property> L C\Users\=2gMAppDetaRoaming NOtepad ++plugins CorfiaINFpF-F\Cache 'oct@ 163. 114 123:oftware hadooF-260-cdh57 Net: hadcap' core-site xm. -Notepad++ 文仁什细上)视区格亡M)语言L蛋()宏 行”密牛P匚 四區品|啦酯|2c曲晚国国三1取区国E2参·山| 12Byunsito mlx b it aml d eoara-sita a1X ccrectel tc ]en profile Euc s1te-specifiv ploper ty ove=: 1n ②合自|每国 clou Propert>Li cane/fs defaultS/neeTE capacity a:hedel:txml <value>hdfe://girko: 9020/</velue>LE 25 <Enopertv>h < nanehadocy. eno. □ ccre-sltex tara/hadoop 2-6.o cchs. 7.l/tmp 圖 hadoap-en:m propeRty?LE hadoap-env.sh hadoap-metncs properties ropery>lN 34 口hf:crwh 日:L [1 huLf: tstule. 7 □ hrcfs-siie xml < property雨 T kms-adsxml confIguratioN>L LAlon Sronr Fle U L /surindreilauuup-2e 0-sth5,. I/clwlicuuuLy'ir nv.tt scutt, uptniny ilt. /hacoop/ma]rcy sic. xml template tc /usr/co'tvachadcop 2 6.c cc5.7,Ictc/hador/mapred sitc xml ceeded, cper ing rle, 31m cod of /usr/softworchodcop 2-E0 cch5, 7,1/ctc hedoorcore si:c,xml succeeded, cpcring Flc aXtencinla MArkin I anlage fin n:2cn:20 这个目录是文件系统元数据和文件数据的存放地址,我们需要创建这些目录,直接到 hadoop 的安装目录下,创建tmp目录即可 件H继止台E)吉机N)为厂长老H t Ha :计28m区 中回stMr L HduupLTuX 宇拟机 rootoglnke: usr/software/hadoop. 2. 6.0-cd n57.L Trootoginke hadnop-2.6.0-cdh 7.11* mkdir m rost s Homc Tash 安将入走向到忠拟乳,苦在权机内部学击按ChG (2)修改 hadoop-env. sh 把java的环境变量添加到配置文件中 Notepad++\plugins\ CcnfiqNNppl A Cache\root g"y2158114.\usnsoftwara hadocp-260--db5 / letclnacoop'hadooc-ervsh-Notepac++ 文牛(F乘G)5)礼空M元M请)计兰T(西行()F)图1M? d当凹号"唯|》c曲個|国国|回圆妇曰多回国E品國 邱|4合节鲁 environmert able 18 JVZ HovE, 2l1 athera rete 3比ATM151,如山dLL,以比1出上 -te neo≈s nfigtrat on xs emendation Lo L3=l: 门 cCre-sIIcT FIt Ihe 137c =molementaticn to t3e. v avc 13 recalled to 29 t nrotn daar=nst= proton⊥u51ncn=n-prVL⊥ ced otc=, -poverties SVC JML>D hedo>p-palisyxml hdfs-giexnI HADCOP Eo] f in SEADOOI BOME/cantril groot HADor 2心-3ed1e:如y-0a1 11y L herpes Ykms-acls.xml eXPoRt HA0Fc55班 Inyjrrn L4rtion proat file 1:3H12 hrfs-. xml sirree, opening 1431509rh L4: 00: 00 Download of Jsrisoftwerehacoop-2, 0. 0-cdh3, 7.ie whedoophadoopenv sh suceeded, o]eniro fie. (3)修改 mapped- env.sh文件,将java环境变量添加到文件中即可 wer周棒里MpPctPeamngWkp3d+lpkginCoigNFFFCacnNte1921614123urcsrhd-2.ch57et:hadcpnpree Notepad++ 文件冂相[素(5)视E(格亡M活言u及z()行(R新+P窗L 。四回园心品|k|2c曲留密国器三1原显国E秒|回丽 ha回 昏合● [I httEfs-erv sh L httEfs-lox4i,propertes D httcfs-signature secret http://wwe.arecne.crg/licers:s/licon3e-2.0ld cy apn11caDle 1aw or agreed co in writing, gcItwazeLE c二c ,西 于eet: LIcense tcr -nc socc1tc⊥2 cRage verIna perm551 -ns ano上 口ka5.proR 口 mapred-en.sh HADOOP J0B HISTOESSERVER EEAP5IZE-10CCIR epred-queLes.xml template mapred-site.xmLtemclate o:port H ,RELE fILco arc acored, EHADOCT MATTED HOME/logo by dcfoul-,n cnd CP MAPRID =ID DIR-< Ile LLt -1Iay dlt sou-t ch a YcL 4The cherinlin3 :,m24 ˇ[+n,src KrTETP-r+s p2.6.cdhs.71/ hadoopanv.ah eccsaded opena fila 计8当Bm(2+1h lvau uf ust/sLfLwarclauuLu-2,6.0-ull S 4: 09 43 Downlca ct /usr/software'hodoop 2E. D-cch5,7.1/ct hedoor'mapred-ervsh succeeded, opening tie. (4)修改 mapped- site. xm|文件,配置中没有这个文件,我们可以自己创建一个新的文件, 文件名为 marred 或者直接将原来的 mapped-site. xml template文件改名为 mapred-site. xml Data\ Roa ring\Notepad++iFlugirsl Cons\Npp FTD\+@102 168114 120\opt hadoop-260-2d-571\otc\hado p, mcpred-citexm 文(D铜E素()视(格式M语言u婴()运行代(門奁口 日看园后同|哈赢|2c曲含(后黑二1E国国P秒|回回 yx国 rern::te amie pPP-rrra-l+,(灬rhFi1 国合●国 就VLE@atve='tcxt/xs1的2x=an1和rat16n,》>图 Ver-io= 2 -a9 file Ikms-env.sh n ay okT.ain a nny rf r.he kms-log4i properties Tm IFRq acuired Hy annlicahle 1a nY WeaN tn in writirg arfr the Lcense fer -re spec -nuage vera 1 intet⊥a以 rder the工⊥ censa,Set 3.2n0工工csE王iLe DuAr leu fle Save file as 1d51mcn15111 RenAme te Fic nemanrecuce, framework. nane</mamEXn kadoop-mapreaucel hadoop marc ducal pseudo v </cn21uB⊥an> 402 2.6.0cdh5 opAhdfs-ste xml s.ccsede, penin: fl :3:6 /usr/software'hodoop Z.E. U-cchb fle. 11 30 Upload ot usr/scttwarehadoco-260-od-5 7 1/etc/hadoop/mared-elv,sh succeeded. -- upeniny lilc. .7.1ELwlcuuvy'mapred-Envaliau eXtensible Ma kup Lany aye ile 644 ines: 2] m圈四反■。豳 在 notepad中右键点击该文什,选择重命名,如果是直接使用ⅵ或wim命令修改的同学可以 在配置文件目录卜使用命令: mv mapped- site. xml template mapred- site. xm修改 c:r圆里AppDataVaaringMepd+plugnaConf9HpTpCsh(ro102160.1412pthadep2.5cshs:,1sthadcpmsprd=tenl-Neted 件编(E)搜东S)视图Mt(W安(()2行(3)强科(D口V 日伯同画4国|2c||百|="三回国曰割圈圆园 41日 rared-si te anlE love回sm,国 yarrsits amx xm7exa12="1,0"2> tma=text/yel vef=loonfiomratinn. vR1n?ST 口 httofs-ste. xm m23E123,uE cense under the Apache Lic D: //ww. race. cro/11cnRP=:LTrFNSF-7 nTE 1 luLi pruuciLic: c3srea⊥ teu by atu⊥1e1 dw tr auIe10⊥1r⊥v1 口 meprec-ervsl IT 0VI WARRANTIES OE Co.DIIICNS OF nY 2.IND, eicher express Cr 1nD 口 mapred-cucues,xml templ e for the specific langiAge Renaming 口mren- sita. template lini=ations under the license. see Pesse enter t 21c=21nth1:11a manrer-sif ssl scrvcr>mlcxamplc κ「cae hadocp-mapreducel nadoc 241/ configurati>聊 Action progr. file 6:5TF3 LI: 3 Upload of/usr'sottwara/ hadoo0-2b (-cch5 /.l'etcnadoop/ma - en. sh succeed lenlyLh: 844 linl=:: 25 ui英小·曼四啬管 然后添加如下配置信息,说明我们使用yarn进行资源管理

...展开详情
试读 16P hadoop cdh版本伪分布式集群搭建图文教程
立即下载 身份认证后 购VIP低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
关注 私信
上传资源赚钱or赚积分
最新推荐
hadoop cdh版本伪分布式集群搭建图文教程 48积分/C币 立即下载
1/16
hadoop cdh版本伪分布式集群搭建图文教程第1页
hadoop cdh版本伪分布式集群搭建图文教程第2页
hadoop cdh版本伪分布式集群搭建图文教程第3页
hadoop cdh版本伪分布式集群搭建图文教程第4页

试读结束, 可继续读1页

48积分/C币 立即下载