Python毕业设计-python的反爬虫技术的研究.zip

运行步骤 需要先安装Python的相关依赖：bs4，pymysql，Django=2.2.19 ，selenium， requests 使用pip install 安装 第一步：创建数据库，数据库名：web_crawer 第二步：执行SQL语句，打开web_crawer.sql文件，运行该文件中的SQL语句 第三步：源码文件为web_crawer.zip，修改源代码中的settings.py文件，改成自己的mysql数据库用户名和密码 第四步：运行命令：python manage.py runserver 8091 第五步：打开浏览器查看http://127.0.0.1:8091 测试账户 账户： 用户名：admin 密码：123 进入管理员页面需在URL后面加上/admin，如http://localhost:8091/admin/ 系统中分两个页面，第一个天气列表页面是加了反爬的，同一ip爬虫访问次数超过2次无法获取信息，加了请求头，csrftoken，另一个新闻页面，没有加任何反爬措施