没有合适的资源?快使用搜索试试~ 我知道了~
资源详情
资源评论
资源推荐
Hadoop HDFS Hbase 部署,环境 Centos,以下内容是部署的步骤,可供学习。
目录
一、部署 Hadoop ..................................................................................................................... 1
1. 安装 Hadoop3.1.3 ........................................................................................................ 1
2. Hadoop 单机配置(非分布式) ...................................................................................... 1
3. Hadoop 伪分布式配置 ................................................................................................ 2
4. 运行 Hadoop 伪分布式实例 ....................................................................................... 6
二、HBase 的安装与运行 ........................................................................................................ 7
1.安装 HBase ..................................................................................................................... 8
2.创建表 ............................................................................................................................. 8
3.添加数据 ......................................................................................................................... 8
4.删除数据 ......................................................................................................................... 8
5.查看数据 ......................................................................................................................... 9
三、HDFS 编程实践 ................................................................................................................ 9
1. 利用 Shell 命令与 HDFS 进行交互 ........................................................................... 9
2. 文件操作 .................................................................................................................... 10
3. 利用 Web 界面管理 HDFS ....................................................................................... 11
1
一、部署 Hadoop
本试验是基于百度云服务器进行的,云服务器配置如下:
镜像名称: centos-8u2-x86_64-20210901154800,
1 核/2GB 内存/60GB 磁盘/4Mbps 带宽,
1. 安装 Hadoop3.1.3
通过从官网下载 Hadoop linux 安装包,然后拷贝到 centos 云服务器进行安装。
从本地拷贝到云服务器:scp .\hadoop-3.1.3.tar.gz root@180.76.162.22:/root/
移动到/usr/local 目录: mv hadoop-3.1.3.tar.gz /user/local
解压:tar -zxvf hadoop-3.1.3.tar.gz
cd /usr/local/
重命名: mv hadoop-3.1.3 hadoop
修改文件权限: chown -R hadoop ./Hadoop
查看版本:如果成功显示版本信息,则安装成功
cd /usr/local/hadoop/
./bin/hadoop version
2. Hadoop 单机配置(非分布式)
Hadoop 默认模式为非分布式模式(本地模式),无需进行其他配置即可运行。非分
布式即单 Java 进程,方便进行调试。
执行以下命令:
cd /usr/local/hadoop
mkdir ./input
cp ./etc/hadoop/*.xml ./input # 将配置文件作为输入文件
筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数,最后输出结果到
output 文件夹中。
./bin/Hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar
2
grep ./input ./output 'dfs[a-z.]+'
执行成功结果如下:
查看执行后生成的 output 文件下的所有内容,结果如下:
cat ./output/*
最后需要删除./output 文件,Hadoop 默认不会覆盖结果文件,因此再次运行上面实
例会提示出错。
rm -r ./output
3. Hadoop 伪分布式配置
Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程
来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。
Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改 2 个配
剩余12页未读,继续阅读
Janson666
- 粉丝: 1w+
- 资源: 2
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0