scrapy-douban-group
Python
Python, JavaScript, CSS, HTML
共42个文件
py: 13
png: 10
js: 5
txt: 4
gitignore: 1
LICENSE: 1
Makefile: 1
md: 1
ico: 1
css: 1
通过一个实际的项目,来学习如何使用scrapy爬取网络上的信息。这里以豆瓣小组为例,对组内的图片进行爬取,相关信息保存数据到MongoDB,图片下载到本地。
没有合适的资源?快使用搜索试试~ 我知道了~
基于Scrapy和MongoDB的豆瓣小组信息爬取设计源码
共43个文件
py:14个
png:10个
txt:5个
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 86 浏览量
2024-04-16
21:36:25
上传
评论
收藏 4.94MB ZIP 举报
温馨提示
本源码项目是基于Scrapy和MongoDB的豆瓣小组信息爬取设计,包含42个文件,主要使用Python、JavaScript、CSS和HTML编程语言。该项目旨在通过一个实际的项目,帮助开发者学习如何使用Scrapy爬取网络上的信息。系统以豆瓣小组为例,实现了对组内图片的爬取,并将相关信息保存到MongoDB数据库中,同时将图片下载到本地。通过该项目,开发者可以学习并实践Scrapy和MongoDB技术的应用,为后续的网络爬虫开发奠定基础。系统界面友好,易于操作,适合用于各类网络爬虫场景。
资源推荐
资源详情
资源评论
收起资源包目录
upload.zip (43个子文件)
gallary
mootools-more-1.4.js 6KB
download.png 422B
mootools-idle.js 5KB
mootools-mooswipe.js 2KB
left.png 686B
eye.png 525B
favicon.ico 59KB
back.png 388B
mootools-core-1.4.js 88KB
index.html 728B
right.png 669B
cut-top.png 205B
index.js 15KB
throbber.gif 2KB
cut-left.png 221B
index.css 4KB
cut-mov.png 197B
cut-right.png 193B
noise.png 64KB
fetch_qiniu.py 2KB
Makefile 65B
LICENSE 1KB
urls.txt 1.15MB
scrapy.cfg 266B
start.bat 76B
fake.txt 1.15MB
crawl_us_phantomjs.py 628B
douban_group
utils.py 745B
__init__.py 0B
pipelines.py 1KB
spiders
__init__.py 161B
haixiuzu.py 3KB
girls.py 2KB
download_pic.py 1KB
duoshuo.py 2KB
random_useragent.py 3KB
items.py 806B
settings.py 1KB
check.py 6KB
.gitignore 337B
sorted_by_vote.txt 1.23MB
distinct.txt 1.13MB
readme.txt 386B
共 43 条
- 1
资源评论
沐知全栈开发
- 粉丝: 4774
- 资源: 3372
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功