运行步骤
需要先安装Python的相关依赖:bs4,pymysql,Django=2.2.19 ,selenium, requests 使用pip install 安装
第一步:创建数据库,数据库名:web_crawer
第二步:执行SQL语句,打开web_crawer.sql文件,运行该文件中的SQL语句
第三步:源码文件为web_crawer.zip,修改源代码中的settings.py文件,改成自己的mysql数据库用户名和密码
第四步:运行命令:python manage.py runserver 8091
第五步:打开浏览器查看http://127.0.0.1:8091
测试账户
账户: 用户名:admin 密码:123
进入管理员页面需在URL后面加上/admin,如http://localhost:8091/admin/
系统中分两个页面,第一个天气列表页面是加了反爬的,同一ip爬虫访问次数超过2次无法获取信息,加了请求头,csrftoken,另一个新闻页面,没有加任何反爬措施
没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
Python 完整项目,可作为 Python 毕业设计,Python 课程设计,包含:项目源码、数据库脚本、软件工具等,前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷,具有很高的实际应用价值。可以作为课程设计,毕业设计适用。 项目都经过严格调试,确保可以运行!可以放心下载, 1. 技术组成 后台框架:Python,建议使用 3.7 或者 3.8 开发环境:pycharm 数据库可视化工具:使用 Navicat 数据库:MySql(如果有的话) 2 部署 用 pycharm 导入项目,使用 pip 下载相关依赖,设置数据库密码,然后 run 就 ok 了,如果不懂得部署的话,可以找我咨询
资源推荐
资源详情
资源评论
收起资源包目录
基于python的反爬虫技术的研究(Python毕业设计,附源码,数据库,教程).zip (53个子文件)
数据库
web_crawler.sql 30KB
部署说明.txt 754B
程序
部署说明.txt 754B
web_crawler
inference
__init__.py 0B
tests.py 1KB
admin.py 38B
migrations
0002_qqinfo_tem.py 1KB
__init__.py 0B
0001_initial.py 874B
__pycache__
0002_qqinfo_tem.cpython-36.pyc 915B
0001_initial.cpython-36.pyc 826B
__init__.cpython-36.pyc 153B
apps.py 98B
models.py 2KB
__pycache__
admin.cpython-36.pyc 183B
views.cpython-36.pyc 4KB
tests.cpython-36.pyc 632B
__init__.cpython-36.pyc 142B
models.cpython-36.pyc 2KB
views.py 6KB
templates
index2.html 3KB
login.html 11KB
index.html 3KB
data.html 6KB
manage.py 652B
使用说明.txt 924B
web_crawler
__init__.py 44B
wsgi.py 415B
urls.py 1KB
settings.py 3KB
__pycache__
urls.cpython-36.pyc 1KB
settings.cpython-36.pyc 2KB
__init__.cpython-36.pyc 193B
wsgi.cpython-36.pyc 555B
static
font
demo.css 8KB
demo_index.html 390KB
iconfont.ttf 128KB
iconfont.css 23KB
iconfont.json 75KB
iconfont.woff2 67KB
iconfont.js 634KB
iconfont.svg 631KB
iconfont.eot 122KB
iconfont.woff 80KB
js
layui.js 7KB
three.min.js 400KB
sweetalert.min.js 17KB
nicePage.js 1KB
lay
modules
laypage.js 4KB
jquery.min.js 91KB
css
layui.css 68KB
sweetalert.css 22KB
images
top-bg.png 46KB
共 53 条
- 1
资源评论
程序猿徐师兄
- 粉丝: 531
- 资源: 2288
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- Picasso_v3.1 2.ipa
- chromedriver-mac-arm64.zip
- 蓝zapro.apk
- chromedriver-linux64.zip
- UCAS研一深度学习实验-MNIST手写数字识别python源码+详细注释(高分项目)
- 基于Python和PyTorch框架完成的一个手写数字识别实验源码(带MINIST手写数字数据集)+详细注释(高分项目)
- 基于Matlab在MNIST数据集上利用CNN完成手写体数字识别任务,并实现单层CNN反向传播算法+源代码+文档说明(高分项目)
- NVIDIA驱动、CUDA和Pytorch及其依赖
- 基于SVM多特征融合的微表情识别python源码+项目说明+详细注释(高分课程设计)
- html动态爱心代码一(附源码)
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功