dhtcrawler-cluster:BitTorrent DHT爬行群集

dhtcrawler群集 群集项目，用于对BitTorrent DHT网络进行爬网并从远程BitTorrent客户端下载torrent文件元数据。 运行许多实例主机（爬网程序）以收集DHT信息哈希，下载其元数据，然后将其发送到基于的实例（收集器），该实例将验证torrent文件并将其存储到磁盘。 要求 发展 Python 3.5（和pip） Node.js> = 0.12.0（和npm） Redis服务器 aws cli（用于docker映像推送） aria2（用于torrent索引脚本） Docker部署 发展 1.1设置芹菜收集器 首先，安装Redis守护程序并启动它。 然后启动Celery worker，它将连接到localhost上的Redis实例： $ cd collector $ pyvenv venv $ source venv/bin/activate (ven