python使用hdfs3模块对hdfs进行操作详解
35 浏览量
2020-12-17
17:37:07
上传
评论
收藏 61KB PDF 举报
python使用使用hdfs3模块对模块对hdfs进行操作详解进行操作详解
之前一直使用hdfs的命令进行hdfs操作，比如：
hdfs dfs -ls /user/spark/
hdfs dfs -get /user/spark/a.txt /home/spark/a.txt #从HDFS获取数据到本地
hdfs dfs -put -f /home/spark/a.txt /user/spark/a.txt #从本地覆盖式上传
hdfs dfs -mkdir -p /user/spark/home/datetime=20180817/
....
身为一个python程序员，每天操作hdfs都是在程序中写各种cmd调用的命令，一方面不好看，另一方面身为一个Pythoner这是
一个耻辱，于是乎就挑了一个hdfs3的模块进行hdfs的操作，瞬间就感觉优雅多了：
hdfs 官方API：https://hdfs3.readthedocs.io/en/latest/api.html
>>> from hdfs3 import HDFileSystem
#链接HDFS
>>> hdfs = HDFileSystem(host='localhost', port=8020)
>>> hdfs.ls('/user/data')
>>> hdfs.put('local-file.txt', '/user/data/remote-file.txt')
>>> hdfs.cp('/user/data/file.txt', '/user2/data')
#文件读取
#txt文件全部读取
>>> with hdfs.open('/user/data/file.txt') as f:
... data = f.read(1000000)
#使用pandas读取1000行数据
>>> with hdfs.open('/user/data/file.csv.gz') as f:
... df = pandas.read_csv(f, compression='gzip', nrows=1000)
#写入文件
>>> with hdfs.open(‘/tmp/myfile.txt’, ‘wb’) as f:
… f.write(b’Hello, world!’)
#多节点连接设置
host = "nameservice1"
conf = {"dfs.nameservices": "nameservice1",
"dfs.ha.namenodes.nameservice1": "namenode113,namenode188",
"dfs.namenode.rpc-address.nameservice1.namenode113": "hostname_of_server1:8020",
"dfs.namenode.rpc-address.nameservice1.namenode188": "hostname_of_server2:8020",
"dfs.namenode.http-address.nameservice1.namenode188": "hostname_of_server1:50070",
"dfs.namenode.http-address.nameservice1.namenode188": "hostname_of_server2:50070",
"hadoop.security.authentication": "kerberos"
}
fs = HDFileSystem(host=host, pars=conf)
#API
hdfs = HDFileSystem(host='127.0.0.1', port=8020)
hdfs.cancel_token(token=None) #未知，求大佬指点
hdfs.cat(path) #获取指定目录或文件的内容
hdfs.chmod(path, mode) #修改制定目录的操作权限
hdfs.chown(path, owner, group) #修改目录所有者，以及用户组
hdfs.concat(destination, paths) #将指定多个路径paths的文件，合并成一个文件写入到destination的路径，并删除源文件（The source files are deleted on
successful completion.成功完成后将删除源文件。）
hdfs.connect() #连接到名称节点 这在启动时自动发生。 LZ:未知作用，按字面意思，应该是第一步HDFileSystem(host='127.0.0.1', port=8020)发生的
hdfs.delegate_token(user=None)
hdfs.df() #HDFS系统上使用/空闲的磁盘空间
hdfs.disconnect() #跟connect()相反，断开连接
hdfs.du(path, total=False, deep=False) #查看指定目录的文件大小，total是否把大小加起来一个总数，deep是否递归到子目录
hdfs.exists(path) #路径是否存在
hdfs.get(hdfs_path, local_path, blocksize=65536) #将HDFS文件复制到本地,blocksize设置一次读取的大小
hdfs.get_block_locations(path, start=0, length=0) #获取块的物理位置
hdfs.getmerge(path, filename, blocksize=65536) #获取制定目录下的所有文件，复制合并到本地文件
hdfs.glob(path) #/user/spark/abc-*.txt 获取与这个路径相匹配的路径列表
hdfs.head(path, size=1024) #获取指定路径下的文件头部分的数据
hdfs.info(path) #获取指定路径文件的信息
hdfs.isdir(path) #判断指定路径是否是一个文件夹
hdfs.isfile(path) #判断指定路径是否是一个文件
hdfs.list_encryption_zones() #获取所有加密区域的列表
资源评论
weixin_38600253
- 粉丝: 6
- 资源: 905
最新资源
- 徐州市区shp边界文件
- 简易数字频率计设计（原理图、PCB、源码、分析报告）
- 20225207038罗丽文财管专2201班.rar
- Golang：通过Gin框架+Redis+责任链，实现一个简单的钉钉机器人，进行消息处理 ps:多应用版
- 基于cnn和AlexNet的铝材缺陷检测内含数据集和demo原型2种方法
- 2023年各城市PM2.5, PM10, SO2, NO2等环境空气质量数据
- go 语言 实现的 使用modbus 协议 通过DTU tcp 链接 采集数据
- SHELL脚本（全是干货）
- Windows屏幕录屏软件
- 2022年各城市PM2.5, PM10, SO2, NO2等环境空气质量数据
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
