没有合适的资源?快使用搜索试试~ 我知道了~
尚硅谷大数据技术之电商推荐系统.doc
5星 · 超过95%的资源 需积分: 10 22 下载量 199 浏览量
2021-06-29
16:49:09
上传
评论 1
收藏 2.76MB DOC 举报
温馨提示
试读
57页
尚硅谷大数据技术之电商推荐系统.doc
资源详情
资源评论
资源推荐
尚硅谷大数据技术之电商推荐系统
—————————————————————————————
尚硅谷大数据技术之电商推荐系统
第 章项目体系架构设计
1.1 项目系统架构
项目以推荐系统建设领域知名的经过修改过的中文亚马逊电商数据集作为依托,
以某电商网站真实业务数据架构为基础,构建了符合教学体系的一体化的电商推荐系
统,包含了离线推荐与实时推荐体系,综合利用了协同过滤算法以及基于内容的推荐
方法来提供混合推荐。提供了从前端应用、后台服务、算法设计实现、 平台部署等多
方位的闭环的业务实现。
用 户 可 视 化 : 主 要 负 责 实 现 和 用 户 的 交 互 以 及 业 务 数 据 的 展 示 , 主 体 采 用
进行实现,部署在 服务上。
综合业务服务:主要实现 层面整体的业务逻辑,通过 进行构建,
对接业务需求。部署在 上。
【数据存储部分】
业务数据库:项目采用广泛应用的文档数据库 作为主数据库,主要负责
平台业务逻辑数据的存储。
更多 Java –大数据 –前端 –python 人工智能资料下载,可百度访问:尚硅谷官网
尚硅谷大数据技术之电商推荐系统
—————————————————————————————
缓存数据库:项目采用 作为缓存数据库,主要用来支撑实时推荐系统部分
对于数据的高速获取需求。
【离线推荐部分】
离线统计服务:批处理统计性业务采用 ! 进行实现,实现
对指标类数据的统计任务。
离线推荐服务:离线推荐业务采 用 !" 进 行实 现,采用
! 算法进行实现。
【实时推荐部分】
日志采集服务:通过利用 #$ 对业务平台中用户对于商品的一次评分行为进
行采集,实时发送到 %& 集群。
消息缓冲服务:项目采用 %& 作为流式数据的缓存组件,接受来自 # 的数
据采集请求。并将数据推送到项目的实时推荐系统部分。
实时推荐服务:项目采用 作为实时推荐系统,通过接收 %& 中
缓存的数据,通过设计的推荐算法实现对实时推荐的数据处理 ,并将结构合并更新到
数据库。
1.2 项目数据流程
【系统初始化部分】
通过 将系统初始化数据加载到 中。
【离线推荐部分】
可以通过 实现对于离线统计服务以离线推荐服务的调度,通过设定的运行
时间完成对任务的触发执行。
更多 Java –大数据 –前端 –python 人工智能资料下载,可百度访问:尚硅谷官网
尚硅谷大数据技术之电商推荐系统
—————————————————————————————
离线统计服务从 中加载数据,将【商品平均评分统计】、【商品评分个
数统计】、【最近商品评分个数统计】三个统计算法进行运行实现,并将计算结果
回写到 中;离线推荐服务从 中加载数据,通过 算法分别将
【用户推荐结果矩阵】、【影片相似度矩阵】回写到 中。
【实时推荐部分】
从综合业务服务的运行日志中读取日志更新,并将更新的日志实时推送到
中; 在收到这些日志之后,通过 程序对获取的日志信息进
行过滤处理,获取用户评分数据流【 ! !"#$%!& %&'】,并发送到另
外一个 队列;( 监听 队列,实时获取 过滤出来的用
户评分数据流,融合存储在 $)(* 中的用户最近评分队列数据,提交给实时推荐算
法,完成对用户新的推荐结果计算;计算完成之后,将新的推荐结构和 数
据库中的推荐结果进行合并。
【业务系统部分】
+ 推荐结果展示部分,从 中将离线推荐结果、实时推荐结果、内容推荐结
果进行混合,综合给出相对应的数据。
, 商品信息查询服务通过对接 实现对商品信息的查询操作。
- 商品评分部分,获取用户通过 给出的评分动作,后台服务进行数据库记录后,
一方面将数据推动到 $)(* 群中,另一方面,通过预设的日志框架输出到 &. 中
的日志中。
/ 商品标签部分,项目提供用户对商品打标签服务。
1.3 数据模型
'( )【商品数据表】
字段名 字段类型 字段描述 字段备注
更多 Java –大数据 –前端 –python 人工智能资料下载,可百度访问:尚硅谷官网
尚硅谷大数据技术之电商推荐系统
—————————————————————————————
productId *
商品的 *
name
商品的名称
categories
商品所属类别 每一项用“+”分割
imageUrl
商品图片的 ,!
tags
商品的 ,- 标签 每一项用“+”分割
( 【用户评分表】
字段名 字段类型 字段描述 字段备注
userId *
用户的 *
productId *
商品的 *
score "
商品的分值
timestamp !
评分的时间
.( 【商品标签表】
字段名 字段类型 字段描述 字段备注
userId *
用户的 *
productId *
商品的 *
tag
商品的标签
timestamp !
评分的时间
/( ,【用户表】
字段名 字段类型 字段描述 字段备注
userId *
用户的 *
username
用户名
password
用户密码
更多 Java –大数据 –前端 –python 人工智能资料下载,可百度访问:尚硅谷官网
尚硅谷大数据技术之电商推荐系统
—————————————————————————————
timestamp !0012
用户创建的时间
3( )4【最近商品评分个数统计表】
字段名 字段类型 字段描述 字段备注
productId *
商品的 *
count *
商品的评分数
yearmonth
评分的时段
4444
1( )【商品评分个数统计表】
字段名 字段类型 字段描述 字段备注
productId *
商品的 *
count *
商品的评分数
2( )【商品平均评分表】
字段名 字段类型 字段描述 字段备注
productId *
商品的 *
avg "
商品的平均评分
5( )【商品相似性矩阵】
字段名 字段类型 字段描述
字段备
注
productId *
商品的 *
recs 467*8*98":;
该商品最相似的商品集
合
<( ,【用户商品推荐矩阵】
更多 Java –大数据 –前端 –python 人工智能资料下载,可百度访问:尚硅谷官网
剩余56页未读,继续阅读
Xiaoxue_zzz
- 粉丝: 1
- 资源: 1
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论1