HDFS文件系统基本文件命令、编程读写HDFS
5星 · 超过95%的资源 需积分: 9 189 浏览量
2013-04-12
09:22:35
上传
评论
收藏 1.16MB DOCX 举报 
HDFS 文件系统基本文件命令、编程读写 HDFS
是一种文件系统，存储着 应用将要处理的数据，类似于普通的 文件
系统，不同的是它是实现了 的 文件系统的思想，是适用于大规模分布式数据处
理相关应用的、可扩展的分布式文件系统。它有以下优点：
、在分布式存储中，经常会出现节点失效的情况， 可以持续监视，错误检查，
容错处理，自动恢复；
、分布式存储的文件都是非常巨大的， 重新规定了每次 的块的大小；
、对于搜索引擎的业务，大部分都只会在文件尾添加新数据，很少修改已有数据 。
做了优化；
、与应用一起设计的文件系统 对整个系统的弹性和适用性有很大好处；
、有效的支持多个客户端并行添加同一个文件。
虽然 实现了这么多的功能，但是因为它已经实现为一个开源框架，所以对于程序
开发者来说，并不需要了解其底层的文件操作，客户可以通过其提供的一套与 文件命
令类似的命令行工具来进行文件操作。
一、基本文件命令：
格式为： !"#$
%! 为具体的文件命令，它的命名通常与 & 对应的命令名相同。
、添加目录和文件
有一个默认的工作目录 #'()*，其中'()* 是客户的登录用户名。不过目
录不会自动建立，要用 !+# 建立它，现在使用 , 作为用户名。
!+##,- 的 !+# 命令会自动创建父目录，类似于带 的
& 命令.
客户现在放本地文件系统的一个文件进去。
,!/,,/
最 后 一 个 参 数 是 句 点 ， 相 当 于 放 入 了 默 认 的 工 作 目 录 ， 等 价 于 ,
!/,,#,
当客户把文件放入 上后，就可以运行 程序来处理它。
、检索文件
, 命令与 , 命令相反，它从 复制文件回到本地文件系统。
,!/,,/
复制到本地的当前工作目录中。
另一种是显示数据0用 ,
,!/,,
、删除文件
#! 命令
#!!/,,
也可以用来删除空目录
二、编程读写 HDFS
利用 给客户提供的 ，客户同样可以访问它。
在 中用作文件操作的主类位于 #/ // 软件包中。包括常见的
、#、1#,、 。 文件的 起点是 2,! 类，这是一个与文件系统
交互的抽象类，客户通过调用 ,#2 的方法 2,!/,-%3#4 .来取得所需的
2,! 实例，如下客户可以获得与 接口的 2,! 对象：
剩余11页未读，继续阅读
- 1
- 2
前往页