运行步骤
需要先安装Python的相关依赖:bs4,pymysql,Django=2.2.19 ,selenium, requests 使用pip install 安装
第一步:创建数据库,数据库名:web_crawer
第二步:执行SQL语句,打开web_crawer.sql文件,运行该文件中的SQL语句
第三步:源码文件为web_crawer.zip,修改源代码中的settings.py文件,改成自己的mysql数据库用户名和密码
第四步:运行命令:python manage.py runserver 8091
第五步:打开浏览器查看http://127.0.0.1:8091
测试账户
账户: 用户名:admin 密码:123
进入管理员页面需在URL后面加上/admin,如http://localhost:8091/admin/
系统中分两个页面,第一个天气列表页面是加了反爬的,同一ip爬虫访问次数超过2次无法获取信息,加了请求头,csrftoken,另一个新闻页面,没有加任何反爬措施
没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
Python 完整项目,Python 毕业设计,包含:项目源码、数据库脚本、软件工具等,前后端代码都在里面。可用于 Python 毕业设计,Python 课程设计,Python 期末大作业。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷,具有很高的实际应用价值。 项目都经过严格调试,确保可以运行!可以放心下载, 1. 技术组成 前端: html 后台框架:Python 开发环境:pycharm 数据库可视化工具:使用 Navicat 2 部署 用 pycharm 打开,使用 pip 下载相关依赖,然后 run 就 ok 了,如果不会部署的话,可以联系我
资源推荐
资源详情
资源评论
收起资源包目录
毕业设计-python的反爬虫技术的研究明)(完整源码).zip (53个子文件)
数据库
web_crawler.sql 30KB
部署说明.txt 754B
程序
部署说明.txt 754B
web_crawler
inference
__init__.py 0B
tests.py 1KB
admin.py 38B
migrations
0002_qqinfo_tem.py 1KB
__init__.py 0B
0001_initial.py 874B
__pycache__
0002_qqinfo_tem.cpython-36.pyc 915B
0001_initial.cpython-36.pyc 826B
__init__.cpython-36.pyc 153B
apps.py 98B
models.py 2KB
__pycache__
admin.cpython-36.pyc 183B
views.cpython-36.pyc 4KB
tests.cpython-36.pyc 632B
__init__.cpython-36.pyc 142B
models.cpython-36.pyc 2KB
views.py 6KB
templates
index2.html 3KB
login.html 11KB
index.html 3KB
data.html 6KB
manage.py 652B
使用说明.txt 924B
web_crawler
__init__.py 44B
wsgi.py 415B
urls.py 1KB
settings.py 3KB
__pycache__
urls.cpython-36.pyc 1KB
settings.cpython-36.pyc 2KB
__init__.cpython-36.pyc 193B
wsgi.cpython-36.pyc 555B
static
font
demo.css 8KB
demo_index.html 390KB
iconfont.ttf 128KB
iconfont.css 23KB
iconfont.json 75KB
iconfont.woff2 67KB
iconfont.js 634KB
iconfont.svg 631KB
iconfont.eot 122KB
iconfont.woff 80KB
js
layui.js 7KB
three.min.js 400KB
sweetalert.min.js 17KB
nicePage.js 1KB
lay
modules
laypage.js 4KB
jquery.min.js 91KB
css
layui.css 68KB
sweetalert.css 22KB
images
top-bg.png 46KB
共 53 条
- 1
资源评论
程序员徐师兄
- 粉丝: 1810
- 资源: 2495
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功