没有合适的资源?快使用搜索试试~ 我知道了~
反网页爬虫系统.zip
共1个文件
zip:1个
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
1 下载量 154 浏览量
2021-03-25
09:44:29
上传
评论
收藏 52KB ZIP 举报
温馨提示
简介: 一些智能的搜索引擎爬虫的爬取频率比较合理,对网站资源消耗比较少,但是很多糟糕的网络爬虫,对网页爬取能力很差,经常并发几十上百个请求循环重复抓取,这种爬虫对中小型网站往往是毁灭性打击,特别是一些缺乏爬虫编写经验的程序员写出来的爬虫破坏力极强,造成的网站访问压力会非常大,会导致网站访问速度缓慢,甚至无法访问。本程序智能识别爬虫,防止爬虫对系统造成大的负载,也可用于访问请求的限流。 爬虫识别策略: 1.实时策略:访问者ip单位时间内访问次数,超过设定阀值的ip列入观察名单;观察名单中的访问着在下一单位时间内继续访问则要求其 填写验证码,若没有填写验证码而持续发起大量请求,则判定为爬虫,加入黑名单。 2.离线策略:引入访问统计系统,对访问记录进行持久化,按分、小时、天等维度进行分析,超过阀值的ip列入黑名单; 3.爬虫陷阱:设置爬虫陷阱,爬进陷阱的ip列入黑名单
资源推荐
资源详情
资源评论
收起资源包目录
反网页爬虫系统.zip (1个子文件)
反网页爬虫系统
crawler-denfender-master.zip 60KB
共 1 条
- 1
资源评论
GeekyGuru
- 粉丝: 1594
- 资源: 1099
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功