==========================
# **scrapy-pinduoduo**(拼多多爬虫)
基于scrapy的拼多多的爬虫
- 默认抓取拼多多的热门栏目所有商品
- 默认每个商品只获取二十条评论
- 爬取到的数据存储到MongoDB数据库
经过测试,拼多多客户端的数据和它手机版http://yangkeduo.com/ 的数据是一模一样的,因此这里爬取的数据都出自这个站点.
主要接口
=============
- 热销商品列表: http://apiv3.yangkeduo.com/v5/goods?page=页码&size=条数
- page:默认从第一页开始
- size:默认是20条,最多可以设置400条
- 用户评论: http://apiv3.yangkeduo.com/reviews/商品ID/list?&size=条数&page=页码
- 商品ID:从热销商品列表页面获取
- size:默认是10条,最多可以设置20条
- page:默认从第一页开始
截图展示
=======
联系作者
-------
欢迎issue
拼多多爬虫，抓取拼多多热销商品信息和评论.zip
版权申诉
5星 · 超过95%的资源 167 浏览量
2023-11-11
08:08:26
上传
评论 1
收藏 173KB ZIP 举报 
拼多多爬虫，抓取拼多多热销商品信息和评论.zip （14个子文件） 
empty_file.txt 0B
scrapy-pinduoduo-master 
scpture.jpg 160KB
LICENSE 1KB .gitignore 162B README.md 972B Pinduoduo scrapy.cfg 261B Pinduoduo __init__.py 0B pipelines.py 658B easye.py 88KB spiders __init__.py 161B pinduoduo.py 2KB items.py 517B settings.py 3KB middlewares.py 3KB资源评论
陀螺锋2024-01-29资源很不错，内容和描述一致，值得借鉴，赶紧学起来！- nakifuyiu2024-04-11资源很受用，资源主总结的很全面，内容与描述一致，解决了我当下的问题。
- m0_593626742023-12-13总算找到了自己想要的资源，对自己的启发很大，感谢分享~
a584417912023-11-27资源值得借鉴的内容很多，那就浅学一下吧，值得下载！
