【HDFS分布式文件系统】是Apache Hadoop项目的核心组件，主要设计用于处理和存储大量数据。它是一个高度容错性的系统，适合部署在廉价的硬件上。本篇内容主要涉及HDFS的Shell操作，这对于Hadoop开发人员和系统管理员来说是必备技能。
### HDFS的特点与架构
1. **高可用性**：HDFS通过NameNode和DataNode的冗余机制，确保即使部分节点故障，系统仍能正常运行。
2. **容错性**：数据块在多个DataNode上复制，确保数据的安全性和恢复性。
3. **可扩展性**：HDFS能够随着硬件增加而扩展，处理PB级别的数据。
4. **流式数据访问**：优化连续的大数据块读取，适合批处理而非随机访问。
5. **大文件支持**：处理GB至TB规模的单个文件。
### HDFS基本概念
1. **NameNode**：管理元数据，包括文件系统命名空间和文件的块映射信息。
2. **DataNode**：存储实际的数据块，执行数据读写操作。
3. **Block**：文件被分割成固定大小的数据块，默认为128MB或256MB。
4. **Replication**：数据块的副本策略，通常设置为3，以防止数据丢失。
### HDFS Shell操作
#### 1. `ls`命令
`hadoop fs -ls [-d] [-h] [-R] <args>`
用于列出指定路径的目录结构， `-d` 显示为普通文件， `-h` 以人类可读的单位显示， `-R` 递归显示子目录。
#### 2. `mkdir`命令
`hadoop fs -mkdir [-p] <paths>`
创建目录，`-p` 参数允许创建多级目录。
#### 3. `put`命令
`hadoop fs -put [-f] [-p] <locationsrc> <dest>`
将本地文件或目录复制到HDFS， `-f` 覆盖目标文件， `-p` 保留文件属性。
#### 4. `du`命令
`hadoop fs -du <args>`
统计目录下文件的大小。
#### 5. `mv`命令
`hadoop fs -mv <src> <dest>`
移动文件或目录。
#### 6. `rm`命令
`hadoop fs -rm <files>`
删除文件或空目录。
#### 7. `cat`和`text`命令
`hadoop fs -cat <files>` 和 `hadoop fs -text <files>`
查看文件内容，`-text` 将二进制文件尝试转换为文本格式。
#### 8. `help`命令
`hadoop fs -help [cmd]`
获取命令帮助信息。
### Shell定时采集数据到HDFS
在实际场景中，可以通过编写Shell脚本来定时从服务器收集日志数据并上传到HDFS。例如，创建一个名为`upload2HDFS.sh`的脚本，设置好环境变量，并使用`put`命令将日志文件批量上传。这样可以实现自动化处理大量日志，方便后续分析和处理。
总结来说，HDFS Shell操作是Hadoop生态系统中不可或缺的一部分，对于管理和维护Hadoop集群至关重要。通过熟练掌握这些基本命令，用户可以高效地与HDFS进行交互，实现数据的存储、管理和处理。
