大数据基础操作说明-HADOOP HIVE IMPALA

一、Hadoop 部分

文件系统 Shell

调用文件系统(FS)Shell 命令应使用bin/hadoop fs <args>的形式。所有的的 FS shell 命令使用

URI 路径作为参数。URI 格式是 scheme://authority/path。对 HDFS 文件系统，scheme 是 hdfs，对

本地文件系统，scheme 是 le。其中 scheme 和 authority 参数都是可选的，如果未加指定，就会使用

配置中指定的默认 scheme。一个 HDFS 文件或目录比如/parent/child 可以表示成 hdfs://

namenode:namenodeport/parent/child，或者更简单的/parent/child（假设你配置文件中的默认值

是 namenode:namenodeport）。大多数 FS Shell 命令的行为和对应的 Unix Shell 命令类似，不同之

 hadoop fs -cat file:///file3 /user/hadoop/file4

返回值：

成功返回 0，失败返回-1。

chgrp

使用方法：hadoop fs -chgrp [-R] GROUP URI [URI …]Change group association of

les. With-R, make the change recursively through the directory structure. The user must

be the owner of les, or else a super-user. Additional information is in thePermissions User

Guide. -->

改变文件所属的组。使用-R 将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超

级用户。更多的信息请参见 HDFS

权限用户指南 。

用户。更多的信息请参见 HDFS

权限用户指南 。

chown

使用方法：hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

改变文件的拥有者。使用-R 将使改变在目录结构下递归进行。命令的使用者必须是超级用户。更多的信

息请参见 HDFS

权限用户指南 。

copyFromLocal

使用方法：hadoop fs -copyFromLocal <localsrc> URI

除了限定源路径是一个本地文件外，和 put 命令相似。

示例：

 hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2

 hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir

返回值：

成功返回 0，失败返回-1。

du

使用方法：hadoop fs -du URI [URI …]

显示目录中所有文件的大小，或者当只指定一个文件时，显示此文件的大小。

示例：

hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1

expunge

使用方法：hadoop fs -expunge

清空回收站。请参考 HDFS

get

使用方法：hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>

复制文件到本地文件系统。可用-ignorecrc 选项复制 CRC 校验失败的文件。使用-crc 选项复制文件

以及 CRC 信息。

示例：

 hadoop fs -get /user/hadoop/file localfile

可选的，用于指定在每个文件结尾添加一个换行符。

ls

使用方法：hadoop fs -ls <args>