添加拦截sign的脚本#企查查每日新增企业数据抓取
* 接口
* 使用企查查获取token接口 qccspider/common/utils.py 可以看到
* 抓取每日新增数据接口 qccspider/getnewdata.py 可以看到
* 尚未完成的工作:
* redis数据转存mysql
* 代理池尚未设置
* 企查查限制,每分钟请求大概不能超过30次,所有功能未加并发,请不要使用代理并发,会封账户的
* 已经完成工作
* 每天定时抓取
* 自动刷新token
* 省份、市的所有代码
* token自动刷新
* 根据地址自动将省份、市、区县进行分割
* 所有数据存到redis里面
* 可以自动登录,账号需要独立
* getnewdata.py 项目主入口
* other放城市和省份代码
* common公用方法
* getmoredata.py 获取更多的企业数据,包括经营范围、联系方式等
* getnewdata.py 获取每日新增企业数据
* 摒弃以前所用方法,采用新的思路
* 新增将数据写入文本
* 本代码只做学习交流,请勿用于非法渠道!!!
* 本代码已经稳定运行3个多月
* ~~由于企查查反爬策略升级,该代码已经无用。!!!~~
* 添加拦截sign的脚本
* ~~可以继续使用部分接口,sign算法可以继续用~~
![话不多说,看图](https://github.com/zhaoboy9692/qccspider/blob/master/demo.png)
没有合适的资源?快使用搜索试试~ 我知道了~
企查查企业信息爬虫 ,企查查app每日新增企业抓取,可以进行每日的增量抓取、企业数据、工商数据等等
共11个文件
py:6个
txt:3个
md:1个
13 下载量 97 浏览量
2023-07-13
15:38:53
上传
评论 2
收藏 15KB ZIP 举报
温馨提示
企查查企业信息爬虫 ,企查查app每日新增企业抓取,可以进行每日的增量抓取、企业数据、工商数据等等。 每天定时抓取 自动刷新token 省份、市的所有代码 token自动刷新 根据地址自动将省份、市、区县进行分割 所有数据存到redis里面 可以自动登录,账号需要独立 getnewdata.py 项目主入口 other放城市和省份代码 common公用方法 getmoredata.py 获取更多的企业数据,包括经营范围、联系方式等 getnewdata.py 获取每日新增企业数据 摒弃以前所用方法,采用新的思路 新增将数据写入文本 本代码只做学习交流,请勿用于非法渠道!!!
资源推荐
资源详情
资源评论
收起资源包目录
qccspider-master.zip (11个子文件)
qccspider-master
other
province_code.txt 2KB
city_code.txt 35KB
getmoredata.py 3KB
common
utils.py 3KB
__init__.py 175B
redistomysql.py 3KB
getnewdata.py 3KB
requirements.txt 192B
.gitignore 1KB
qcc_mt.py 589B
README.md 1KB
共 11 条
- 1
资源评论
智达教育
- 粉丝: 2w+
- 资源: 279
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功