基于Python实现的美团店铺信息爬虫.zip

## 美团（美食）店铺信息爬虫   通过接口抓取美团美食店铺信息，并做相关的数据分析。 ## 项目结构 ```html . ├── README.md ├── common.py ├── configs │ ├── config.py │ ├── parse.py │ ├── requirements.txt │ ├── token_.py │ ├── utils │ │ ├── br.json │ │ ├── cities.json │ │ ├── ua.log │ │ └── uuid.log │ ├── view │ │ ├── FZSTK.TTF │ │ ├── db.jpg │ │ ├── jing.jpeg │ │ ├── key.png │ │ ├── pricom.jpg │ │ ├── ratio.jpg │ │ ├── title.txt │ │ └── top10.jpg │ └── visual.py ├── meituan.py ``` ## 主要实现过程 1. 组装token、cookie、ua等基础参数 2. 通过requests获取数据 3. 解析json数据 4. 保存数据至mysql数据库 5. 使用matplotlib进行可视化分析 ## 环境依赖 ```python pip3 install -r requirements.txt ``` ## 解释说明 1. 接口动态参数：uuid, _token, cookie 2. 接口参数 uuid 需要不定时从网页源码获取 ，否则_token 的 uuid 就会失效。 3. 接口 _token 参数加密：二进制压缩、Base64 编码， 解密：Base64 解码、二进制解压。另外、生成 token 的 sign 参数加密解密过程与 _token 相同。 4. 接口cookie 参数需要从pc浏览器端登录后获取 ## 运行 切换至 meituan 文件夹的根目录执行（运行之前请确保已经安装了相关模块及数据库）： ```python # pip3 install -r configs/requirements.txt python common.py python meituan.py ``` ## 数据分析展示 - 美食店铺名称词云  - 北京美食店铺排行榜前10名( 仅限美团数据 )  - 店铺价格与评论数量的关联性  - 美食店铺各评分占比  - MySql 数据  ## 公告 **本代码仅作学习交流，切勿用于商业用途，否则后果自负。若涉及美团侵权，请与我联系，会尽快处理。** 免责声明： 1.本资源仅供学习和交流使用，不保证其准确性、完整性、及时性或适用性。 2.本资源仅包含一般信息，不构成专业建议。在使用本资源时，请务必自行研究并谨慎决策。 3.我已尽力确保本资源的正确性和合法性，但不对其准确性、完整性和及时性做出保证。 4.本资源不应用于商业用途。 5.在使用本资源的过程中，用户应自行承担所有风险和责任，并遵守相关法律法规。 6.对于因使用本资源而产生的任何损失或损害，我概不负责。 请确保在使用本资源时仔细阅读并遵守以上免责声明。如果您有任何疑问或需要进一步帮助，请联系我。 资源最后修改时间：2024-08-27 20:42:40