介绍几本知识及服务器的搭建。Hadoop HDFS MapReduce Hive HBase 十分钟快速入门
31.操作系统 SuSE10, Linux2.6.16,32位版本。 3.2. Hadoop Hve通过SWN直接从网上卜载原代码,其它呆用 hadoop-0.20.0tar.gz二进制安装包,所以 只需要编译Hive 另外,请注意不要下载20098-19号的Hive,2009819提交的Hve版本在 hadoop0200 tar. gz 上编译通不过,原因是: Hive源代码根目录 \ql\src ljava\org\ apache\ hadoop\ hive\ql exec\ File SinkOperator java文件中 多了一行: import org. apache. hadoop. io compress Lzo Codec 而应当下载200984号和2009819之间的版本,或20098-19之后的版本 33. Hive 译时需要使用到anπt和ⅳwy两个工具,而且依赖于Hady·所以Hⅳve需要自己编译,编 在0200版本的 Hadoop二进制安装包中,并没有集成Hive 3.4. Java 运行 Hadoop和编译Hive,都需要使用到Java,所以需要第一个安装的是」ava 35.机器 演练时,在3台机器上搭建 Hadoopρ集群,假设这3台机器如下表所示: 机器名机器|P用途 Hadoop-A9216801用作 Master Hadoop-B19216802用作Save Hadoop-C19216803用作Save 注意事项:机器名中不能包括卜划线“”,但可以包括横线。另可使用不带参数的 hostname 来查看机器名,修改机器名方法为: hostname机器名,如: hostname Hadoop-A。另外,集 群内所有的机器登录用广名和密码要保持相同。 3.6.安装列表 安装说明 」ava16A、B和C三台机器都需要安装 Hadoop0200A、B和C三台机器都需要安装 Hve只需要在B和C两台机器上安装,也就是Save机器不需要安装 ant只需要在B和C两台机器上安装,也就是 Slave机器不需要安装 iw只需要在B和C两台机器上安装,也就是Save机器不需要安装 注意事项:为求简单所有操作均以root用户完成,实际上可以使用非root用户,但坏境变 量就不能直接在/etc/ profile文件中添加了 37.安装路线 4配置ssh2和修改/etc/ hosts 需要在所有机器上配置ssh2和修改/etc/ hosts 41.配置ssh2 1)mkdr~/.ssh2#如果~/.ssh2目录已经存在,则这一步可以跳过 2)cd"/ssh2 3)ssh-keygen2-t rsa 4)echo"ldKey id_rsa_2048_a"> identification necho"key id rsa 2048 a pub >authorization 42修改/etc/ hosts 1)在/etc/ hosts文件中增加如下三行 192.168.0.1 Hadoop-A 192.1680.2 Hadoop-B 192.168.0.3 Hadoop-C 并根据上述关系,使用 hostname命令修改三台机器的机器名。 5安装Java 1从http://www.java.com/zhCn/dOwnload/manual.jsp下载jre,请注意是Java1.6版本,原因 是 Hadoop和Hive使用到了模板等特性 2)卜载“Lnux(自解压文件)”这个版木的ie,如卜图所示 3)将下载的Java二进制安装包jre6u15nux586bin上传到/us/loca目录 4)为jre-6u15inux-1586.bin文件增加可执行权限: chmod+xjre-6u15-nux586bin 5运行jre6u15 in ux-i5586bn:/re6u15nux586.bn 6)户协议接受,选择yes 7)安装成功后,在/etc/ profile增加如下一行: export PATH=/usr/local/jdk/bin: SPATH 6安装 Hadoop 1)从http://hadoop.apacheorg/common/releases.htm下载Hadoop二进制安装包 hadoop-0. 20.0.tar. gz 2) hadoop-0.20.0 tar.gz上传到/usr/loca目录 3)在/usr/ local目录,将 hadoop-0.200 tar. gz解压 4)为 hadoop020.0建一个软链接:n- s hadoop0.20.0 hadoop 5)在/etc/ profile文件中,增加如下两行: export HADOOP_ HOME=/usr/local/hadoop export path=SHAdOOP HOME/bin: SPATH 完成以上步骤后, Hadoop就安装好了。 7配置HDFS 71.修改 hadoop-env.sh 所有机器做同样操作 hadoop- env. sh位于/usr/ocal/ hadoop/conf日录下,需要在这个文件中设胃环境变量 JAVA HOME,增加如下一行即可 export JAVA_ HOME=/usr/local/jre 修改 core-site xml 所有机器做同样操作 在 hadoop-0.20.0 tar. gz安装包中,conf日录下的 core-site xm默认是空的,但src/core日录 下有一个缺省的配置文件core- default .xm,所以只需要将它复制到 cont目录下,并重命名 成 core-site. xm即可,下述操作都是基于此操作的。 core- - site. xm文件位J/usr/ocal/ hadoop/conf目录下。 7. 2.1. hadoop tmp. dir 设置临时文件目录参数 hadoop. tmp.dir,默认情况下 master会将元数据等存在这个目录下, 而 slave会将所有上传的文件放在这个目录下,在这里数据目录统一为/usr/lca/ hadoop/data <property> <name>hadoop. tmp dir</name> <value>/usr/local/hadoop/ datas/value> <description>a base for other temporary directories. </description> property> 注意事项:由于上传到 Hadoop的所有文件都会被存放在 hadoop. tmp. dir所指定的目录,所 以要确保这个目录是足够大的。 7. 2. 2. fs, default, name master用这个参数,提供基于htt议的状态上报界面,而save通过这个地址连接 master, 设置如下: ≤ property> <name>fs. default. names/name> <value>hdfs: //Hadoop-A: 54310</value> <description>The name of the default file system. A URI whose scheme and authority determine the file system implementation the uri"s scheme determines the config property(fs SCHEME. impl)naming the file System implementation class. The uri"'s authority is used to determine the host, port, etc. for a filesystem. </description> </property> 备注: fs. default. name指定 Namenode的P地址和端口号,缺省值是fe://,表示使用本地 文件系统,用于单机非分布式模式 dfs replication指定HDFS中每Bock被复制的次数,起数据冗余备份的作用。在典型的生产 系统中,这个数常常设置为3。 73修改 masters 这一步只需要在 master节点上执行 这个文件存储备 master节点的|P或机器名,建议使用机器名,每行一个机器名。主 master 会将元数据等备份到备 master节点,文件位于conf目录下。 这里,我们为 masters文件增加如下一行即可: Hadoop-A 74修改 slaves 这一步也只需要在 master节点上执行,以便 master以sh2方式去启动所有的save节点。 这个文件存储save节点的或机器名,建议使用机器名,每行一个机器名。这里我们增加 如下两行: Hadoop Hadoop-C 75修改 hdfs-site. xml 所有机器做同样操作。 从src/hdfs日录下,将 hdfs-default xm复制到conf日录,并重命名成 hdfs-site xm,这里不 需要修改此文件。 8配置 MapReduce 81修改 mapped- default xml 所有机器做同样操作。 从src/ mapped目录下,将 marred- default. xm复制到conf目录,并重命名成 mapped- site xm <property> <name>mapred job trackers/name> <value>Hadoop-A: 54311</value> <description>The host and port that the MapReduce job tracker runs at. If "local", then jobs are run in-process as a single map and reduce task <description> </property> 备注: mapped job. tracker指定 Job tracker的|P地址和端口号。缺省值是 local,表示在本地 同一Java进程内执行 Job tracker和 Tasktracker,用」单机非分布式模式。 9安装Hve hadoop-0.20.0中并没有集成二进制的Hve,所以需要通过源代码编译一个,但是20098-19 日提交的Hⅳe并不能在 hadoop-0.200上编译,而应当使用2009-84之后和20098-19之间 的版本。 91.安装ant 1)从http://ant.apacheorg下载ant二进制安装包,选择1.7.1版本 2)下载后,将包 apache-ant-171- bin. zip上传到/usr/oca日录 3)进入/usr/loca目录,将 apache-ant-171 bin. zip解压: unzip apache-ant-171- oIn. Zip 4)进入/usr/oca目录,为ant建个软连接:hn- s apache-ant-171ant 5)修改/etc/ profile,增加如下行: export PATH=/usr/local/ant/bin: SPATH 至此,ant算是安装好了 92.安装i 1)从htt:/www.apache.org/dist/ant/w/下载ⅳy进制安装包,选择2.10-rc2版本 2)下载后,将包 apache-y-2.1.0-rc2-bin. tar. gz上传到/us/oca目录 3)进入/usr/oca|目录,将 apache-iy-2.1.0-rc2- bin. tar.gz解压: tar xzf apache-ivy-2.1.0-rc2-bintargz 4进入/usr/oca目录,为iy建一个软连接:n- s apache-ivy210rc2 6)修改/etc/ profile,增加如下行: export IVY HOME=/usr/local/ivy