HDFS实验 用hadoop

在本文中，我们将深入探讨Hadoop HDFS(Hadoop Distributed File System)的基本操作，这些操作是进行数据存储和处理的关键步骤。HDFS是一个分布式文件系统，它设计用于在大规模集群上运行，提供高吞吐量的数据访问，非常适合大数据处理场景。 让我们了解如何启动Hadoop HDFS。在Linux环境下，你需要进入Hadoop安装目录，通常是`/usr/local/hadoop`。接着，检查配置文件，这可以通过在`etc/hadoop`目录下使用`ls -al`命令查看。启动HDFS服务，你可以使用`sbin/start-dfs.sh`脚本。启动后，通过运行`jps`命令，你会看到NameNode和DataNode等相关进程已经启动。此外，你可以在浏览器中输入`http://localhost:50070`来查看NameNode的状态和Datanode的信息。 接下来，我们将讨论HDFS的一些常用命令： 1. **ls**：用于列出HDFS中的文件和目录。例如，`hadoop fs -ls /`将列出根目录下的内容。使用`-R`参数可以递归显示所有子目录和文件。 2. **put**：将本地文件上传到HDFS。确保目标路径存在，否则命令会失败。例如，`hadoop fs -put localfile hdfsfile`。若想批量上传，可以指定一个目录，如`hadoop fs -put localdir hdfsdir`。 3. **moveFromLocal** 和 **copyFromLocal**：这两个命令类似put，但moveFromLocal会在上传后删除本地文件，而copyFromLocal则保留本地文件。对于从键盘输入，可以使用`-`字符，如`hadoop fs -put - hdfsfile`。 4. **get**：下载HDFS上的文件到本地。如果本地路径已存在同名文件，会提示错误。例如，`hadoop fs -get hdfsfile localfile`。 5. **copyToLocal**：与get类似，但不支持从键盘输入。例如，`hadoop fs -copyToLocal hdfsfile localfile`。 6. **rm** 和 **rm -r**：删除HDFS上的单个文件或整个目录。`-r`参数用于递归删除目录。 7. **mkdir**：创建HDFS目录。使用`-p`参数可创建多级目录，即使父目录不存在。 8. **getmerge**：将HDFS目录中的所有文件合并到本地文件，并按顺序排列。`-nl`参数会在每个文件间插入空行。 9. **cp** 和 **mv**：复制或移动HDFS上的文件。注意，mv命令会将源文件移除。 10. **count**：计算指定路径下的文件数量、目录数量和总大小。 11. **du**：显示HDFS路径下各文件和目录的大小。 在实际应用中，熟练掌握这些命令对于管理和操作HDFS至关重要。理解并运用这些基础命令，可以帮助你高效地进行数据存储和处理，为大数据分析和计算奠定坚实的基础。记住，跨文件系统的移动操作在HDFS中通常是不被允许的，因此在进行数据迁移时要特别注意。