GoCrawler:使用Go，Postgres，RabbitMQ和Docker实现的分布式Web搜寻器

GoCrawler 使用Go，Postgres，RabbitMQ和Docker实现的分布式异步Web搜寻器 介绍 Web搜寻器会遍历给定的网页，并找到显示该网页的链接。 然后，它对每个获得的链接重复相同的过程，以递归方式索引一系列页面，从而在站点上进行爬网。 在这里，使用主管工作程序服务器模型，我们利用一组分布式工作程序节点来处理每个页面，并使用管理程序与客户端进行通信并汇总结果。 我们利用RabbitMQ将消息发送到工作节点，并利用Postgres保留这些结果。 脚步 设置群集： $ make provision 这将在他们自己的docker网络中创建一个3节点1主管GoCrawler集群。 查看集群的状态 $ make info 现在，我们可以发送检索请求，并查看站点地图到任何页面。 $ curl -X POST -d "{\"URL\": \"<URL>\"}" http: