gcstool:一个用于创建和搜索Golomb压缩集的小工具

gcstool 一个用于创建和搜索小型（预发行版）工具。 什么？ Golomb压缩集类似于-它们是节省空间的数据结构，可让您测试给定元素是否为集合的成员。 像Bloom过滤器一样，它们具有可控的假阳性率-即使没有出现过，它们也可以将元素视为集合的成员-而没有假阴性。 如果GCS没有看到它，则不在列表中。 为什么？ 让我们用一个实际问题来说明：检查泄漏的密码列表。 假设您有，并且想要在注册时对照列表检查用户密码。 不幸的是，它的容量接近30GB，并且不是特别适合搜索的格式。 您只需将SHA1哈希转换为二进制，甚至在处理过程中将其截断即可，从而将其削减了很多，但实际上却非常激进，每项仅花费了6个字节（假阳性率为500,000中的1）只能将您的容量降低到3 GB。 让我们看看这个工具可以做什么： # Use precomputed hashes directly with -H