simhash-cluster:simhash 近似重复检测的集群实现

Simhash 集群 这显然是未完成的工作，我们也无意完成它。 相反，我们选择通过使用支持 simhash 语料库的真实数据库。 Simhash 接受一个整数输入向量，并产生一个代表该向量的单个整数输出，因为相似的向量产生相似的散列——它们的结果散列预计仅相差几位。 考虑到这一点，simhash 通常与文本上的滚动散列函数结合使用以生成输入向量，从而产生与该文本块相对应的散列。 通过这种方式，您可以快速识别所有被视为接近重复的文档。 您甚至可以构建表来非常快速地执行这些查询。 可悲的是，它会消耗相当数量的 RAM，尤其是当您将数亿或数十亿个哈希插入已知哈希的语料库中时。 因此，分布式形式是必要的。 这就是分布式形式。 建筑学 有一个主节点，从节点向其注册，此时它们被分配了要服务的分片，并且对该分片的所有查询都将由该节点提供服务。 主站和从站通过 zerorpc 进行通信。 适配器 适