运行步骤
需要先安装Python的相关依赖:bs4,pymysql,Django=2.2.19 ,selenium, requests 使用pip install 安装
第一步:创建数据库,数据库名:web_crawer
第二步:执行SQL语句,打开web_crawer.sql文件,运行该文件中的SQL语句
第三步:源码文件为web_crawer.zip,修改源代码中的settings.py文件,改成自己的mysql数据库用户名和密码
第四步:运行命令:python manage.py runserver 8091
第五步:打开浏览器查看http://127.0.0.1:8091
测试账户
账户: 用户名:admin 密码:123
进入管理员页面需在URL后面加上/admin,如http://localhost:8091/admin/
系统中分两个页面,第一个天气列表页面是加了反爬的,同一ip爬虫访问次数超过2次无法获取信息,加了请求头,csrftoken,另一个新闻页面,没有加任何反爬措施
没有合适的资源?快使用搜索试试~ 我知道了~
Python毕业设计-python的反爬虫技术的研究.zip
共53个文件
py:14个
pyc:12个
js:7个
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 197 浏览量
2023-09-12
17:17:40
上传
评论
收藏 1.02MB ZIP 举报
温馨提示
Python 完整项目,可作为 Python 毕业设计,Python 课程设计,包含:项目源码、数据库脚本、软件工具等,前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷,具有很高的实际应用价值。 项目都经过严格调试,确保可以运行!可以放心下载, 1. 技术组成 前端: html 后台框架:Python,建议使用 3.7 开发环境:pycharm 数据库可视化工具:使用 Navicat 数据库:MySql(如果有的话) 2 部署 用 pycharm 打开,使用 pip 下载相关依赖,然后 run 就 ok 了
资源推荐
资源详情
资源评论
收起资源包目录
Python毕业设计-python的反爬虫技术的研究.zip (53个子文件)
数据库
web_crawler.sql 30KB
部署说明.txt 754B
程序
部署说明.txt 754B
web_crawler
inference
__init__.py 0B
tests.py 1KB
admin.py 38B
migrations
0002_qqinfo_tem.py 1KB
__init__.py 0B
0001_initial.py 874B
__pycache__
0002_qqinfo_tem.cpython-36.pyc 915B
0001_initial.cpython-36.pyc 826B
__init__.cpython-36.pyc 153B
apps.py 98B
models.py 2KB
__pycache__
admin.cpython-36.pyc 183B
views.cpython-36.pyc 4KB
tests.cpython-36.pyc 632B
__init__.cpython-36.pyc 142B
models.cpython-36.pyc 2KB
views.py 6KB
templates
index2.html 3KB
login.html 11KB
index.html 3KB
data.html 6KB
manage.py 652B
使用说明.txt 924B
web_crawler
__init__.py 44B
wsgi.py 415B
urls.py 1KB
settings.py 3KB
__pycache__
urls.cpython-36.pyc 1KB
settings.cpython-36.pyc 2KB
__init__.cpython-36.pyc 193B
wsgi.cpython-36.pyc 555B
static
font
demo.css 8KB
demo_index.html 390KB
iconfont.ttf 128KB
iconfont.css 23KB
iconfont.json 75KB
iconfont.woff2 67KB
iconfont.js 634KB
iconfont.svg 631KB
iconfont.eot 122KB
iconfont.woff 80KB
js
layui.js 7KB
three.min.js 400KB
sweetalert.min.js 17KB
nicePage.js 1KB
lay
modules
laypage.js 4KB
jquery.min.js 91KB
css
layui.css 68KB
sweetalert.css 22KB
images
top-bg.png 46KB
共 53 条
- 1
资源评论
Java老徐
- 粉丝: 1790
- 资源: 2044
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功