基于python的分布式爬虫.zip

# pyFetch 基于python的分布式爬虫 [DEMO: https://fetch.flysay.com](https://fetch.flysay.com) ### 安装mongoDB https://www.mongodb.org/downloads 默认端口运行mongoDB ### 安装依赖 linux 安装 #ubuntu apt-get install build-essential apt-get install python-dev #centos yum groupinstall "Development Tools" yum install python-devel windows 下的 gevent 可能需要安装 Microsoft Visual C++ Compiler for Python 2.7 http://www.microsoft.com/en-us/download/confirmation.aspx?id=44266 pip install requests pip install pymongo pip install flask pip install flask-compress pip install gevent pip install tld pip install click pip install pybloomfiltermmap ### 执行 服务器 python service.py 客服端 python client.py ### 访问 http://127.0.0.1 ## Todo list - 参数可配置化, 还有mongo的连接配置 - slave 执行环境安全 - setup.py - 列表的时间排序有问题 - 每个项目都可以添加多个url抓取入口 - 项目与爬虫的抓取频率显示 - 结果页面图片浏览模式 - 新建项目且修改代码时，会有缓存且爬虫会使用旧代码进行抓取 - 当有域名403时, mongod CPU占用较高 免责声明： 1.本资源仅供学习和交流使用，不保证其准确性、完整性、及时性或适用性。 2.本资源仅包含一般信息，不构成专业建议。在使用本资源时，请务必自行研究并谨慎决策。 3.我已尽力确保本资源的正确性和合法性，但不对其准确性、完整性和及时性做出保证。 4.本资源不应用于商业用途。 5.在使用本资源的过程中，用户应自行承担所有风险和责任，并遵守相关法律法规。 6.对于因使用本资源而产生的任何损失或损害，我概不负责。 请确保在使用本资源时仔细阅读并遵守以上免责声明。如果您有任何疑问或需要进一步帮助，请联系我。 资源最后修改时间：2024-11-12 20:41:17 110056527710288 602075e4-f925-41a8-bce8-17139629b195