批量获取网页信息2.0版本

# 开放云市场 页面遍历 工具 本项目实现页面遍历：**Python+Requests+Pytest+Allure** ，实现了开放云市场的产品遍历。 >相关项目：开放云市场产品遍历 ## 一，项目说明 本项目主要是做产品页面遍历 实现功能： 1.自动爬取所有产品信息 2.自动化编写UI脚本 3.自动执行产品遍历 ## 二，项目结构 - common ====>> 各种工具类 - config ====>> 配置文件，暂时未使用 - log ====>> 日志文件，暂时未使用 - report_allure ====>> 每次执行后的测试报告，里面包含详细的请求信息和结果信息 - report_temp ====>> 每次执行时，报告临时存放路径 - test_case ====>> 测试用例存放路径，可在此处修改脚本 - test_data ====>> 测试用数据存放路径，爬虫爬取的数据也自动写到这里的excel中 - requirements.txt ====>> 相关依赖包文件 - start_scrapy.py ====>> 一边执行爬虫，一边编写UI自动化用例，一边做UI测试，一般执行一次即可 - start_case.py ====>> 单纯执行UI自动化，可反复执行 ## 三，项目本地安装 在根目录下找到 ```requirements.txt``` 文件，然后通过 pip 工具安装 requirements.txt 依赖，执行命令一键安装： ``` pip install -r requirements.txt -i https://pypi.douban.com/simple ``` 还需要要安装一下allure中的需要的包， # 需要提前配置allure环境，才可以直接使用命令行，common文件中有下载的安装包，配置可参考https://blog.csdn.net/liudinglong1989/article/details/83023886 ## 四，脚本编写 编写用例过程： 1，运行这个文件start_scrapy.py，会自动编写UI用例，此时请关闭test_data文件夹中的excel文件。 ## 五，脚本执行 两种执行方式： 1，start_scrapy.py，执行，一边执行爬虫，一边编写UI自动化用例，一边做UI测试，一般执行一次即可。爬取、测试、编写1000余款产品，单并发耗时约1小时 2，start_case.py，执行，单纯执行UI自动化，可反复执行，1000余款产品实验用4并发测试，耗时约6分钟 ``` start.py #找到main函数，点击做出 绿色执行按钮 ``` **注意**：执行单个用例有个能需要修改一个pycharm配置 可以参看该链接 https://www.jianshu.com/p/911e0dd2edab。 ## 六，测试报告效果展示 执行完毕后，报告自动生成，去report_allure文件夹中看最新时间即可，报告中有详细的请求信息和响应信息 每个用例是在多个资源池运行的，报告中可同时查看多个资源池信息 ``` # 需要提前配置allure环境，才可以直接使用命令行，sdk文件中有下载的安装包，配置可参考https://blog.csdn.net/liudinglong1989/article/details/83023886 allure serve ./report ``` 最终，可以看到测试报告的效果图如下（网络截图）：