s3query:从AWS S3读取（分开）文件

S3查询 S3Query以文本文件的形式打开s3文件系统中的一个或多个文件，如有必要，将执行解压缩。 它还处理喜欢hadoop的part- *文件，并将目录中的所有文件视为一个文件。 安装 pip install s3query 例子 >>> from s3query import s3open >>> import sys >>> >>> with s3open("s3://s3query/data/testgz/") as fgz: ... for line in fgz: ... sys.stdout.write(line) ... one two three four five six seven eight nine >>> with s3open("s3://s3query/data/test/") as fplain: ... for line