没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论






















HDFS 文件系统基本文件命令、编程读写 HDFS
是一种文件系统,存储着 应用将要处理的数据,类似于普通的 文件
系统,不同的是它是实现了 的 文件系统的思想,是适用于大规模分布式数据处
理相关应用的、可扩展的分布式文件系统。它有以下优点:
、在分布式存储中,经常会出现节点失效的情况, 可以持续监视,错误检查,
容错处理,自动恢复;
、分布式存储的文件都是非常巨大的, 重新规定了每次 的块的大小;
、对于搜索引擎的业务,大部分都只会在文件尾添加新数据,很少修改已有数据 。
做了优化;
、与应用一起设计的文件系统 对整个系统的弹性和适用性有很大好处;
、有效的支持多个客户端并行添加同一个文件。
虽然 实现了这么多的功能,但是因为它已经实现为一个开源框架,所以对于程序
开发者来说,并不需要了解其底层的文件操作,客户可以通过其提供的一套与 文件命
令类似的命令行工具来进行文件操作。
一、基本文件命令:
格式为: !"#$
%! 为具体的文件命令,它的命名通常与 & 对应的命令名相同。
、添加目录和文件
有一个默认的工作目录 #'()*,其中'()* 是客户的登录用户名。不过目
录不会自动建立,要用 !+# 建立它,现在使用 , 作为用户名。
!+##,- 的 !+# 命令会自动创建父目录,类似于带 的
& 命令.
客户现在放本地文件系统的一个文件进去。
,!/,,/
最 后 一 个 参 数 是 句 点 , 相 当 于 放 入 了 默 认 的 工 作 目 录 , 等 价 于 ,
!/,,#,
当客户把文件放入 上后,就可以运行 程序来处理它。
、检索文件
, 命令与 , 命令相反,它从 复制文件回到本地文件系统。
,!/,,/
复制到本地的当前工作目录中。
另一种是显示数据0用 ,
,!/,,
、删除文件
#! 命令
#!!/,,
也可以用来删除空目录
二、编程读写 HDFS
利用 给客户提供的 ,客户同样可以访问它。
在 中用作文件操作的主类位于 #/ // 软件包中。包括常见的
、#、1#,、 。 文件的 起点是 2,! 类,这是一个与文件系统
交互的抽象类,客户通过调用 ,#2 的方法 2,!/,-%3#4 .来取得所需的
2,! 实例,如下客户可以获得与 接口的 2,! 对象:

%3#4 51%3#4-.6
2,!52,!/,- .6获得 的 2,! 对象
如果客户要实现 与本地文件系统的交互,还需要获取本地文件系统的 2,!
对象
2,! 52,!/,& - .6获得本地文件系统的 2,! 对象
综上基本上可以得出操作文件的程序库框架:
#,#-.
7
得到 %3#4 对象
得到 2,! 对象
进行文件操作
8
下面是通过使用 编写的操作文件系统的程序:
、上传本地文件
通过92,!/ 2#!& (,# ,, ,)9可将本地文件上传到 的
制定位置上,其中 # 和 , 均为文件的完整路径。具体事例如下:
!#,#/ // /%3#46
!#,#/ ///,,6
!#,#/ ///2,!6
!#,#/ ///,6
: %27
: ,4 ;!-,#<=#.,#1) 47
%3#4 51%3#4-.6
2,!52,!/,- .6
本地文件
,# 51,-9>??:,@9.6
为止
,,51,-99.6
/ 2#!& -# 0,.6
2,!/,/#,-9(,9A /,-9/,/!9..6
,,3<=5/,,,-,.6
#-,,3>3.7
2,!/,/#,-3/,,-..6
8
8
8
运行结果可以通过控制台、项目浏览器和 #%*B 查看,如图 C、图 C、图 C
所示。
)控制台结果

图 C运行结果()
)项目浏览器
图 C运行结果()
) #%*B 结果
图 C运行结果()
、创建 文件
通过92,!/ #,(,)9可在 上创建文件,其中 为文件的完整路径。具
体实现如下:
!#,#/ // /%3#46
!#,#/ ///,,,,#!6
!#,#/ ///2,!6
!#,#/ ///,6
: %#,7
: ,4 ;!-,#<=#.,#1) 47
%3#4 51%3#4-.6
2,!52,!/,- .6
:2,<=:D591#E?9/,F2,-.6
,51,-9,,9.6
,,,,#!,,,#!5/ #,-.6
,,,#!/1#,-:D0G0:D/,.6
剩余11页未读,继续阅读

trenhe
- 粉丝: 0
- 资源: 10
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助


安全验证
文档复制为VIP权益,开通VIP直接复制

- 1
- 2
前往页