Python 访问 HDFS（Hadoop Distributed File System）主要依赖于第三方库，如 `hdfspython`（也称为 `snakebite`），它提供了一种简单的方法来与 HDFS 进行交互。以下是对如何使用 Python 访问 HDFS 的详细步骤和相关知识：
确保你已经安装了 `hdfspython` 库。如果没有，可以通过 `pip` 来安装：
```bash
pip install hdfspython
```
一旦安装完成，你可以导入 `hdfs` 模块并创建一个客户端对象，用于连接到 HDFS 服务器。在下面的例子中，我们将连接到运行在 `http://10.10.1.4:50070` 的 HDFS NameNode：
```python
import hdfs
client = hdfs.Client("http://10.10.1.4:50070")
```
接下来，你可以使用这个客户端对象执行各种操作，例如检查文件或目录的状态。以下是如何检查位于 `/user/hive/warehouse/house.db/dm_house/dt=201800909` 的文件或目录状态：
```python
fileDir = "/user/hive/warehouse/house.db/dm_house/dt=201800909"
try:
status = client.status(fileDir, False)
if status:
print(status)
# 下载文件到本地
rst = client.download(fileDir, "/home/dev/gewei")
print(rst)
except Exception as e:
print(e)
```
在上述代码中，`status` 函数用于获取文件或目录的信息，而 `download` 函数则将远程 HDFS 文件下载到本地指定路径。
如果遇到使用 Python 访问 HDFS 时提示 `webhdfs` 找不到的情况，可能是因为 WebHDFS 服务没有启动。WebHDFS 是 HDFS 提供的一个基于 HTTP 的 RESTful API，允许通过网络进行文件系统操作。确保在 HDFS 配置文件 `hdfs-site.xml` 中启用了 WebHDFS 功能，添加以下配置：
```xml
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
```
重启 HDFS 服务后，WebHDFS 就会被启用。你可以通过执行下面的命令来测试 WebHDFS 是否正常工作：
```bash
curl -i "http://Hadoop:50070/webhdfs/v1/?user.name=hadoop&op=LISTSTATUS"
```
这个命令会返回指定路径下的文件和目录列表。请将 `Hadoop` 替换为你的 HDFS NameNode 的 IP 或主机名。
总结一下，Python 访问 HDFS 主要涉及以下步骤：
1. 安装 `hdfspython` 库。
2. 创建 `hdfs` 客户端并连接到 HDFS 服务器。
3. 使用客户端进行文件或目录的操作，如查询状态、下载文件等。
4. 如果遇到 `webhdfs` 错误，检查并确保 WebHDFS 服务已启动，并在 `hdfs-site.xml` 中启用该功能。
这些基本操作可以帮助你开始使用 Python 与 HDFS 进行交互，但还有更多高级功能，如上传文件、创建目录、删除文件等，都可以通过 `hdfs` 客户端实现。了解并熟练掌握这些操作对于处理大数据分析任务至关重要。
