# 基于Python3、Scrapy爬取软考在线历年题库 ## 环境依赖 * Python3 * Scrapy库 * re库 * MySQL数据库 ## 安装使用 ```bash # 配置settings.py中数据库信息(导入数据库文件wx_rkpass.sql) # MYSQL INFO MYSQL_HOST = '127.0.0.1' MYSQL_PORT = 3306 MYSQL_DATABASE = 'wx_rkpass' MYSQL_USERNAME = 'root' MYSQL_PASSWORD = 'root' # 配置settings.py中图片保存路径 # 图片存储 IMAGES_STORE = './images' # 执行爬虫(爬取科目见下面文件介绍) $ 修改settings.py中pipelines (删除爬取科目前面的#号) $ scrapy crawl rkpassSpider # (可以更换其他科目) ``` ## 文件介绍 ```bash # 软件设计师(上午题) rkpassSpider.py # 网络工程师(上午题) wlMorningSpider.py # 信息系统监理师(上午题) xxMorningSpider.py # 数据库系统工程师(上午题) sjkMorningSpider.py # 软件评测师(上午题) rjpcsMorningSpider.py # 嵌入式系统设计师(上午题) qrsMorningSpider.py # 电子商务设计师(上午题) dzswMorningSpider.py # 多媒体应用设计师(上午题) mediaMorningSpider.py # 信息系统管理工程师(上午题) xxxtMorningSpider.py # 信息安全工程师(上午题) xxaqMorningSpider.py # 系统集成项目管理工程师(上午题) xtjcMorningSpider.py # 系统规划与管理师(上午题) xtghMorningSpider.py # 网络规划设计师(上午题) wlghMorningSpider.py # 系统架构设计师(上午题) xtjgMorningSpider.py # 系统分析师(上午题) xtfxMorningSpider.py # 信息系统项目管理师(上午题) xxxtxmMorningSpider.py ``` -------- 该资源内项目源码是个人的毕设,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,放心下载使用! <项目介绍> 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.md文件(如有),仅供学习参考, 切勿用于商业用途。 --------
- 1
- 粉丝: 215
- 资源: 1944
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助