运行步骤
需要先安装Python的相关依赖：bs4，pymysql，Django=2.2.19 ，selenium， requests 使用pip install 安装
第一步：创建数据库，数据库名：web_crawer
第二步：执行SQL语句，打开web_crawer.sql文件，运行该文件中的SQL语句
第三步：源码文件为web_crawer.zip，修改源代码中的settings.py文件，改成自己的mysql数据库用户名和密码
第四步：运行命令：python manage.py runserver 8091
第五步：打开浏览器查看http://127.0.0.1:8091
测试账户
账户： 用户名：admin 密码：123
进入管理员页面需在URL后面加上/admin，如http://localhost:8091/admin/
系统中分两个页面，第一个天气列表页面是加了反爬的，同一ip爬虫访问次数超过2次无法获取信息，加了请求头，csrftoken，另一个新闻页面，没有加任何反爬措施
毕业设计-python的反爬虫技术的研究明）（完整源码）.zip
版权申诉
79 浏览量
2023-06-09
14:29:14
上传
评论 1
收藏 1.02MB ZIP 举报
毕业设计-python的反爬虫技术的研究明）（完整源码）.zip （53个子文件） 
数据库 
web_crawler.sql 30KB
部署说明.txt 754B 程序 部署说明.txt 754B web_crawler inference __init__.py 0B tests.py 1KB admin.py 38B migrations 0002_qqinfo_tem.py 1KB __init__.py 0B 0001_initial.py 874B __pycache__ 0002_qqinfo_tem.cpython-36.pyc 915B 0001_initial.cpython-36.pyc 826B __init__.cpython-36.pyc 153B apps.py 98B models.py 2KB __pycache__ admin.cpython-36.pyc 183B views.cpython-36.pyc 4KB tests.cpython-36.pyc 632B __init__.cpython-36.pyc 142B models.cpython-36.pyc 2KB views.py 6KB templates 
index2.html 3KB login.html 11KB index.html 3KB data.html 6KB manage.py 652B 使用说明.txt 924B web_crawler __init__.py 44B wsgi.py 415B urls.py 1KB settings.py 3KB __pycache__ urls.cpython-36.pyc 1KB settings.cpython-36.pyc 2KB __init__.cpython-36.pyc 193B wsgi.cpython-36.pyc 555B static font demo.css 8KB demo_index.html 390KB iconfont.ttf 128KB iconfont.css 23KB iconfont.json 75KB iconfont.woff2 67KB iconfont.js 634KB
iconfont.svg 631KB iconfont.eot 122KB iconfont.woff 80KB js layui.js 7KB three.min.js 400KB sweetalert.min.js 17KB nicePage.js 1KB lay modules laypage.js 4KB jquery.min.js 91KB css layui.css 68KB sweetalert.css 22KB images 
top-bg.png 46KB资源评论
