洗牌
过滤器,用于改善类型化二进制数据的压缩。
Bitshuffle是一种算法,它可以重新排列有类型的二进制数据以改善压缩效果,并且是在Numpy框架内实现该算法的python / C程序包。
该库可与HDF5一起使用以压缩和解压缩数据集,并通过框架进行集成。 Bitshuffle是HDF5过滤器编号32008 。
从算法上讲,Bitshuffle与HDF5的密切相关,只是它在位级别而不是字节级别运行。 将类型化的数据数组排列到一个矩阵中,元素作为行,元素中的位作为列,Bitshuffle将矩阵“转置”,以使所有最低有效位都在一行中,依此类推。在大约8kB长的数据块内执行 。
这本身并不压缩数据,而只是重新排列以提高压缩效率。 要执行实际的压缩,您将需要一个压缩库。 Bitshuffle的设计与Marc Lehmann的以及完全匹配。 请注意,由于Bitshuffle会在位级别修改
评论0
最新资源