运行步骤
需要先安装Python的相关依赖：bs4，pymysql，Django=2.2.19 ，selenium， requests 使用pip install 安装
第一步：创建数据库，数据库名：web_crawer
第二步：执行SQL语句，打开web_crawer.sql文件，运行该文件中的SQL语句
第三步：源码文件为web_crawer.zip，修改源代码中的settings.py文件，改成自己的mysql数据库用户名和密码
第四步：运行命令：python manage.py runserver 8091
第五步：打开浏览器查看http://127.0.0.1:8091
测试账户
账户： 用户名：admin 密码：123
进入管理员页面需在URL后面加上/admin，如http://localhost:8091/admin/
系统中分两个页面，第一个天气列表页面是加了反爬的，同一ip爬虫访问次数超过2次无法获取信息，加了请求头，csrftoken，另一个新闻页面，没有加任何反爬措施
基于python的反爬虫技术的研究源码数据库.zip
版权申诉
4 浏览量
2023-10-06
14:48:37
上传
评论
收藏 3.45MB ZIP 举报
基于python的反爬虫技术的研究源码数据库.zip （53个子文件） 
基于python的反爬虫技术的研究源码数据库 数据库 
web_crawler.sql 30KB 程序 web_crawler inference __init__.py 0B tests.py 1KB admin.py 38B migrations 0002_qqinfo_tem.py 1KB __init__.py 0B 0001_initial.py 874B __pycache__ 0002_qqinfo_tem.cpython-36.pyc 915B 0001_initial.cpython-36.pyc 826B __init__.cpython-36.pyc 153B apps.py 98B models.py 2KB __pycache__ admin.cpython-36.pyc 183B views.cpython-36.pyc 4KB tests.cpython-36.pyc 632B __init__.cpython-36.pyc 142B models.cpython-36.pyc 2KB views.py 6KB templates 
index2.html 3KB login.html 11KB index.html 3KB data.html 6KB manage.py 652B
使用说明.txt 924B web_crawler __init__.py 44B wsgi.py 415B urls.py 1KB settings.py 3KB __pycache__ urls.cpython-36.pyc 1KB settings.cpython-36.pyc 2KB __init__.cpython-36.pyc 193B wsgi.cpython-36.pyc 555B static font demo.css 8KB demo_index.html 390KB iconfont.ttf 128KB iconfont.css 23KB iconfont.json 75KB iconfont.woff2 67KB iconfont.js 634KB
iconfont.svg 631KB iconfont.eot 122KB iconfont.woff 80KB js layui.js 7KB three.min.js 400KB sweetalert.min.js 17KB nicePage.js 1KB lay modules laypage.js 4KB jquery.min.js 91KB css layui.css 68KB sweetalert.css 22KB images 
top-bg.png 46KB 新建文本文档.txt 0B
文档.zip 2.44MB资源评论
