mgzip:Python gzip模块的多线程实现

邮编 Python gzip模块的多线程实现 使用块索引的GZIP文件格式来启用并行压缩和解压缩。 该工具使用“ FEXTRA”来记录压缩成员的索引，该索引在官方GZIP文件格式规范版本4.3中定义，因此它与常规GZIP工具完全兼容。 使用24个CPU的计算机，此模块的压缩速度快约25倍，解压缩速度快约7倍（受IO和Python实现限制）。 从理论上讲，压缩和解压缩加速度应根据CPU内核呈线性关系。 实际上，性能受到IO和程序语言实现的限制。 用法 使用与gzip模块相同的方法 import mgzip s = "a big string..." ## Use 8 threads to compress. ## None or 0 means using all CPUs (default) ## Compression block size is set to 200MB with