豆瓣电影的主从scrapy_redis爬虫，django网页展示数据，mongo存储数据+源代码+文档说明

共165个文件

py：75个

html：22个

xml：21个

版权申诉

python

毕业设计

165 浏览量 2023-12-01 10:34:09 上传评论收藏 1.15MB ZIP 举报

资源推荐

资源详情

资源评论

收起资源包目录

豆瓣电影的主从scrapy_redis爬虫，django网页展示数据，mongo存储数据+源代码+文档说明（165个子文件）

scrapy.cfg 273B

scrapy.cfg 261B

bootstrap.css 193KB

bootstrap.min.css 156KB

bootstrap-grid.css 66KB

bootstrap-grid.min.css 50KB

simplemde.min.css 11KB

bootstrap-reboot.css 5KB

bootstrap-reboot.min.css 4KB

board.css 205B

accounts.css 204B

movie.css 204B

flex.css 100B

app.css 53B

.gitattributes 30B

.gitignore 157B

.gitignore 111B

base.html 3KB

topic_posts.html 2KB

pagination.html 2KB

topics.html 2KB

home.html 2KB

reply_topic.html 2KB

view_movie.html 2KB

password_reset_confirm.html 1KB

edit_post.html 1KB

signup.html 957B

new_topic.html 907B

form.html 767B

password_reset.html 755B

password_reset_complete.html 707B

password_reset_done.html 684B

password_reset_email.html 611B

my_account.html 530B

password_change.html 520B

password_change_done.html 500B

view_movie_content.html 400B

base_accounts.html 390B

djangoLearn.iml 1KB

gratuation_project.iml 717B

Jay_Redis_slave.iml 575B

Jay_Redis.iml 506B

mbws.jpg 49KB

simplemde.min.js 263KB

bootstrap.bundle.js 223KB

bootstrap.js 132KB

jquery-3.4.1.min.js 86KB

bootstrap.bundle.min.js 79KB

bootstrap.min.js 59KB

popper.min.js 21KB

LICENSE 1KB

bootstrap.min.css.map 627KB

bootstrap.css.map 493KB

bootstrap.bundle.js.map 400KB

bootstrap.bundle.min.js.map 311KB

bootstrap.js.map 250KB

bootstrap.min.js.map 190KB

bootstrap-grid.css.map 154KB

jquery-3.4.1.min.map 133KB

bootstrap-grid.min.css.map 112KB

bootstrap-reboot.css.map 76KB

bootstrap-reboot.min.css.map 32KB

README.md 958B

gravel.png 144KB

trees.png 17KB

spikes.png 15KB

webb-dark.png 12KB

views.py 5KB

InsertIntoDatabase.py 5KB

test_view_edit_post.py 4KB

test_view_new_topics.py 4KB

settings.py 4KB

test_view_reply_topic.py 4KB

SlaveDouban.py 4KB

settings.py 4KB

urls.py 3KB

test_view_password_reset.py 3KB

test_view_password_change.py 3KB

settings.py 3KB

test_view_signup.py 3KB

password_reset.py 2KB

MasterDouban.py 2KB

pipelines.py 2KB

models.py 2KB

0001_initial.py 2KB

redirect_Middleware.py 2KB

transfer_data.py 2KB

test_view_board_topics.py 2KB

test_templates.py 1KB

0001_initial.py 1KB

test_mail_password_reset.py 1KB

forms.py 998B

views.py 982B

test_view_topic_posts.py 970B

models.py 955B

test_view_home.py 836B

form_tags.py 792B

Proxy_Middleware.py 785B

items.py 682B

共 165 条

# gratuation_project 豆瓣电影的主从scrapy_redis爬虫，django网页展示数据，mongo存储数据，数据量不大，**学习为主**，顺便完成毕业设计，不涉及很大的爬取量 Jay_Redis Jay_Redis_slave 分别是master端和slave端的爬虫，基本已经编写完毕了，就差Django的网页了曾经试过在云主机上放一个爬取代理IP池拿来自己用，结果发现如果有badproxy的话会导致出现很多同样的网站待爬而且发现豆瓣还是很友好的，你不过分基本不会涉及封ip，所以就放弃了使用代理池可视化工具用了Navicat premium， anoter redis desktop manager 一个比较有意思的库 fake_useragent 自动生成useragent，麻麻再也不用担心我去到处收集useragent来轮换了 # timeline #### 2020/2/1 把年前写好的爬虫提交了上去，说好的过年写完django，结果因为冠状病毒（在家发呆），回学校前一定写完

评论收藏

内容反馈

版权申诉