# 2018年做毕业设计的时候在豆瓣爬取了一些书籍
语言python,库scrapy,selenium;有意思的后记,豆瓣有反爬机制:不允许同一个IP非人类请求,刚开始想了买IP地址池,找了售卖方,感觉都有点坑;后来回到家中发现家里的【网通宽带】只要重新拨号就会获取新的IP地址,因此想到了一个解决方案,就是检测到豆瓣不让我爬了我就去重新拨号,然后就可以接着爬了,这个方案是通过selenium实现的;小结:也不完善,最后爬了几千本书籍吧,就够我毕业设计展示使用了。
没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
语言python,库scrapy,selenium; -------- 该资源内项目源码是个人的毕设,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,放心下载使用! <项目介绍> 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.md文件(如有),仅供学习参考, 切勿用于商业用途。 --------
资源推荐
资源详情
资源评论
收起资源包目录
2018年做毕业设计的时候在豆瓣爬取了一些书籍.zip (15个子文件)
code
data
input
mac 1.1MB
test 106B
win 1.12MB
bs 966KB
ecxept 64B
scrapy.cfg 253B
books
__init__.py 0B
pipelines.py 4KB
spiders
__init__.py 161B
myspider.py 5KB
items.py 704B
debug.py 109B
settings.py 3KB
middlewares.py 4KB
README.md 618B
共 15 条
- 1
资源评论
机智的程序员zero
- 粉丝: 2410
- 资源: 4799
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 5G建设和AI技术推动下,中证5G通信ETF的投资价值探讨
- Python项目之淘宝模拟登录.zip
- 课程设计项目:python+QT实现的小型编译器.zip
- (源码)基于AVR ATmega644的智能卡AES解密系统.zip
- (源码)基于C++插件框架的计算与打印系统.zip
- (源码)基于Spring Boot和Vue的苍穹外卖管理系统.zip
- (源码)基于wxWidgets库的QMiniIDE游戏开发环境管理系统.zip
- 通过C++实现原型模式(Prototype Pattern).rar
- 学习记录111111111111111111111111
- 通过java实现原型模式(Prototype Pattern).rar
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功