gzipstream:gzipstream允许Python处理来自流媒体源的多部分gzip文件-python source fi...

gzipstream gzipstream允许Python处理来自流式源的多部分gzip文件。 该库最初旨在与Python 一起使用，以处理和其他Web存档数据。 安装 如果您使用的是pip，只需运行命令pip install -e git+https://github.com/commoncrawl/gzipstream.git#egg=gzipstream 。 如果需要，您还可以使用python setup.py install 。 用法 作为用法的示例， examples/streaming_commoncrawl_from_s3.py显示了如何使用gzipstream增量处理gzip压缩的Web存档（WARC）文件。 该文件的大小几乎为1 GB，是从2014-15 Common Crawl数据集中随机选择的，并托管在Amazon S3上。 如果没有gzipstream ，则只能通