hadoop中的文件系统外壳.pdf资源-CSDN文库

需积分: 1 183 浏览量 2024-11-05 15:13:02 上传评论收藏 530KB PDF 举报

资源推荐

资源详情

资源评论

hadoop 中的文件系统外壳

文件系统（

）外壳程序包括各种类似于外壳程序的命令，这些命令可直接与

Hadoop

分布式文件系统（

HDFS

）以及

Hadoop

支持的其他文件系统（例如本

地

，

WebHDFS

，

S3 FS

等）进行交互。

FS Shell

通过以下方式调用：

bin / hadoop fs <args>

所有 FS Shell 命令都将路径 URI 作为参数。URI 格式为 scheme：// authority /

path。对于 HDFS，方案为 hdfs，对于本地 FS，方案为 file。方案和权限是可

选的。如果未指定，则使用配置中指定的默认方案。可以将 HDFS 文件或目录

（例如/ parent / child）指定为 hdfs：// namenodehost / parent / child 或简单地

指定为/ parent / child（假设您的配置设置为指向 hdfs：// namenodehost）。

FS Shell 中的大多数命令的行为类似于相应的 Unix 命令。每个命令都描述了差

异。错误信息将发送到 stderr，输出将发送到 stdout。

如果使用 HDFS，则 hdfs dfs 是同义词。

可以使用相对路径。对于 HDFS，当前工作目录是 HDFS 主目录/ user / <用户

名>，该目录通常必须手动创建。也可以隐式访问 HDFS 主目录，例如，当使用

HDFS 垃圾文件夹时，主目录中的.Trash 目录。

有关通用外壳程序选项，请参见《命令手册》。

appendToFile

用法：hadoop fs -appendToFile <localsrc> ... <dst>

从本地文件系统附加一个或多个 src 到目标文件系统。还从 stdin 读取输入，并

将其追加到目标文件系统。

 hadoop fs -appendToFile 本地文件/ user / hadoop / hadoopfile

 hadoop fs -appendToFile localfile1 localfile2 / user / hadoop / hadoopfile

 hadoop fs -appendToFile 本地文件 hdfs：

//nn.example.com/hadoop/hadoopfile

 hadoop fs -appendToFile-hdfs：//nn.example.com/hadoop/hadoopfile 从

标准输入读取输入。

退出代码：

成功返回

，错误返回

。

计数

用法：hadoop fs -count [-q] [-h] [-v] [-x] [-t [<存储类型>]] [-u] [-e] <路径>

计算与指定文件模式匹配的路径下的目录，文件和字节数。获取配额和使用情况。

具有-count 的输出列是：DIR_COUNT，FILE_COUNT，CONTENT_SIZE，

PATHNAME

-u 和-q 选项控制输出包含哪些列。-q 表示显示配额，-u 将输出限制为仅显示配

额和使用情况。

具有-count -q 的输出列是：QUOTA，REMAINING_QUOTA，SPACE_QUOTA，

REMAINING_SPACE_QUOTA，DIR_COUNT，FILE_COUNT，

CONTENT_SIZE，PATHNAME

具有-count -u 的输出列是：QUOTA，REMAINING_QUOTA，SPACE_QUOTA，

REMAINING_SPACE_QUOTA，PATHNAME

-t 选项显示每种存储类型的配额和使用情况。如果未给出-u 或-q 选项，则-t 选项

将被忽略。可以在-t 选项中使用的可能参数的列表（不区分大小写，但参数“”除

外）：“”，“ all”，“ ram_disk”，“ ssd”，“ disk”或“ archive”。

-h 选项以人类可读的格式显示大小。

-v 选项显示标题行。

-x 选项从结果计算中排除快照。如果没有-x 选项（默认值），则总是从所有 INode

（包括给定路径下的所有快照）计算结果。如果指定了-u 或-q 选项，则-x 选项

将被忽略。

-e 选项显示每个文件的擦除编码策略。

具有-count -e 的输出列是：DIR_COUNT，FILE_COUNT，CONTENT_SIZE，

ERASURECODING_POLICY，PATHNAME

ERASURECODING_POLICY 是文件策略的名称。如果在该文件上设置了擦除

编码策略，它将返回该策略的名称。如果未设置擦除编码策略，它将返回“已复

制”，这表示它使用复制存储策略。

例：

 hadoop fs -count hdfs：//nn1.example.com/file1 hdfs：

//nn2.example.com/file2

 hadoop fs -count -q hdfs：//nn1.example.com/file1

 hadoop fs -count -q -h hdfs：//nn1.example.com/file1

 hadoop fs -count -q -h -v hdfs：//nn1.example.com/file1

 hadoop fs -count -u hdfs：//nn1.example.com/file1

 hadoop fs -count -u -h hdfs：//nn1.example.com/file1

剩余25页未读，继续阅读

评论收藏

内容反馈

icysmile131

粉丝: 4637
资源: 756

hadoop中的文件系统外壳.pdf

《Hadoop系统搭建及项目实践》课件02Hadoop安装与配置管理.pdf

第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf

环视Hadoop Hadoop系统及其生态圈.pdf

hadoop-lzo-0.4.20.jar

hadoop的dll文件 hadoop.zip

hadoop-2.7.1.tar.gz.zip

hadoop-2.7.3.tar.gz 下载 hadoop tar 包下载

Hadoop下载 hadoop-3.3.3.tar.gz

hadoop2.6，hadoop.dll、winutils.exe下载

Hadoop下载 hadoop-2.9.2.tar.gz

hadoop的hadoop.dll和winutils.exe下载

各个版本Hadoop，hadoop.dll以及winutils.exe文件下载大合集

hadoop.dll 和 winutils.exe

hadoop.dll & winutils.exe For hadoop-2.8.0

hadoop环境缺少的hadoop.dll ，winutils.exe包

hadoop2.7.7对应的hadoop.dll，winutils.exe

hadoop-3.3.1.tar.gz

hadoop-3.1.4.tar.zip

hadoop.dll & winutils.exe For hadoop-2.6.0

hadoop-2.7.4.tar.gz

hadoop-2.7.1.tar.gz

hadoop/bin目录文件，含hadoop.dll + winutils.exe

hadoop调试工具hadoop.dll和hadoop.exp和winutils.exe

Hadoop_in_Action.pdf

hadoop-3.1.4.tar.gz

hadoop2.7.3的hadoop.dll和winutils.exe

hadoop-3.1.3.tar.gz

hadoop2lib.tar.gz

hadoop-3.3.4.tar.gz + winutils 安装环境

项目源码：基于Hadoop+Spark招聘推荐可视化系统 大数据项目 计算机毕业设计

最新资源

项目源码：基于Hadoop+Spark招聘推荐可视化系统大数据项目计算机毕业设计