doubanspiders
=============
豆瓣电影、书籍、小组、相册、东西等爬虫集 writen by Python.
PS: 哎, 八个月后自己尝试设计了下爬虫框架, 感觉doubanspiders代码简直糟蹋了Scrapy, 阿弥陀佛!
###依赖服务
1. MongoDB
###依赖包
1. pip install scrapy
2. pip install pybloom
3. pip install pymongo
###运行豆瓣电影爬虫
1. 进入douban/movie目录
2. 执行scrapy crawl movie
###运行豆瓣相册爬虫
1. 进入douban/album目录
2. 执行scrapy crawl album
一个Python爬虫参考源代码.rar （27个子文件） 
一个Python爬虫参考源代码 douban movie 
__init__.py 0B pipelines.py 375B misc __init__.py 0B helper.py 299B store.py 140B bloomfilter.py 694B middlewares.py 611B scrapy.cfg 247B spiders __init__.py 0B movie.py 6KB items.py 2KB settings.py 775B album __init__.py 0B pipelines.py 0B misc __init__.py 0B helper.py 299B store.py 140B bloomfilter.py 694B middlewares.py 611B scrapy.cfg 245B parsers.py 6KB spiders __init__.py 0B album.py 2KB items.py 2KB settings.py 739B .gitignore 12B README.md 510B资源评论
嵌入式硬件与代码
- 粉丝: 264
- 资源: 561
会员权益专享
最新资源
- 第4次作业_计算税后工资.cpp
- 校园管理 - 学生管理系统源码
- 1047538782469312MOJiRead_channel_google_code_1.5.5_60_20230314182834_NO-HW_release.apk
- stm32的nucleo开发板点亮LED的汇编程序
- WPSOffice-v17.3.2(1394)-v8a,v7a-Balatan.apk
- python练习题代码参考-职工管理系统
- python读取某文件夹下的所有文件名将读出的文件名输出到CSV文件
- Sparse_Identification_Part2.mlx
- python斐波那契数列
- python非递归方式计算阶乘（循环）
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
