# 基于爬虫技术的商城商品上新降价实时推送
#### 介绍
基于爬虫技术的商城商品上新降价实时推送,Python编写,爬取对象均为实时交易的国际二手商品商城,特点为一旦商品卖出则该商品不可再被检索到,且商品的上架和价格变化十分频繁且具有随机性,对数据处理速度有一定要求;目前已用Docker部署在服务器,可实时进行消息推送,具备一定的实用性;
#### 软件架构
程序主要分为爬取,数据库交互,数据比较,邮件发送,总调度五个部分;
其中
爬取部分负责爬取商场商品信息,主要包括商品名称,价格,图片,库存等,采用BeautifulSoup库进行爬取;
数据库交互部分负责与远程MySQL数据库进行交互,使用连接池技术,每次爬取全部商品信息后才进行一次与数据库的交互,降低数据库使用频率,提高程序运行速度;
数据比较部分负责将对数据进行比较,若与数据库已存信息存在重复,则比较其价格是否发生变化,若新爬取数据未在数据库中,则新插入该行数据,若数据库已存信息未在新爬取数据中发现,则说明商品已售出,将该行数据从数据库中删除;
邮件发送部分负责将新上架和降价商品的信息以图文超链接的形式通过邮件发送到客户端,用户可通过点击商品信息和图片直接访问商品页面;
总调度部分主要负责对检索关键字以及检索的深度进行调度;
#### 使用截图
1. 代码运行
![img](https://treathy.com/wp-content/uploads/2023/12/real-time-market-crawler-1.jpeg)
2. 数据库
![img](https://treathy.com/wp-content/uploads/2023/12/real-time-market-crawler-2.jpeg)
3. 邮箱推送
![img](https://treathy.com/wp-content/uploads/2023/12/real-time-market-crawler-3.jpeg)
#### 特技
1. Docker;
2. BeautifulSoup;
没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
介绍 基于爬虫技术的商城商品上新降价实时推送,Python编写,爬取对象均为实时交易的国际二手商品商城,特点为一旦商品卖出则该商品不可再被检索到,且商品的上架和价格变化十分频繁且具有随机性,对数据处理速度有一定要求;目前已用Docker部署在服务器,可实时进行消息推送,具备一定的实用性; 软件架构 程序主要分为爬取,数据库交互,数据比较,邮件发送,总调度五个部分; 其中 爬取部分负责爬取商场商品信息,主要包括商品名称,价格,图片,库存等,采用BeautifulSoup库进行爬取; 数据库交互部分负责与远程MySQL数据库进行交互,使用连接池技术,每次爬取全部商品信息后才进行一次与数据库的交互,降低数据库使用频率,提高程序运行速度; 数据比较部分负责将对数据进行比较,若与数据库已存信息存在重复,则比较其价格是否发生变化,若新爬取数据未在数据库中,则新插入该行数据,若数据库已存信息未在新爬取数据中发现,则说明商品已售出,将该行数据从数据库中删除; 邮件发送部分负责将新上架和降价商品的信息以图文超链接的形式通过邮件发送到客户端,用户可通过点击商品信息和图片直接访问商品页面; 总
资源推荐
资源详情
资源评论
收起资源包目录
real-time-market-crawler-master.zip (19个子文件)
real-time-market-crawler-master
LICENSE 11KB
productNoticeSpider
myPooledDBFuns.ipynb 7KB
mercariNotice.ipynb 30KB
sendMail.ipynb 6KB
mandarakeNotice.ipynb 70KB
Ipynb_importer.py 3KB
newNotice.ipynb 10KB
overallControl.ipynb 12KB
myItem.ipynb 3KB
myPooledDB.ipynb 3KB
__pycache__
Ipynb_importer.cpython-38.pyc 3KB
README.en.md 912B
.ipynb_checkpoints
newNotice-checkpoint.ipynb 12KB
overallControl-checkpoint.ipynb 12KB
sendMail-checkpoint.ipynb 6KB
README.md 1001B
compareItems.ipynb 4KB
README.en.md 2KB
README.md 2KB
共 19 条
- 1
资源评论
十小大
- 粉丝: 9130
- 资源: 2552
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功