20.神经网络推荐算法(续)1
需积分: 0 133 浏览量
2022-08-03
14:25:47
上传
评论
收藏 18.48MB PDF 举报
2022/4/27 13_dnn_rec_system2
huaxiaozhuan.com/深度学习/chapters/13_dnn_rec_system2.html 1/139
十一、Pinterest Recommender System[2017]
1. 虽然已经有很多关于高级推荐系统及其实际应用的论文发表，但是通常不可能直接构建 state-
of-the-art 的推荐系统。最初的产品 initial product 必须用一个小的工程团队、有限的计
算资源、以及缺乏训练数据来构建，直到推荐系统被启用 bootstrapped 。工业级的推荐系统通
常处理包含数十亿个 item 的 Web-scale 数据。由于内容是通过用户隐式反馈 implicit
user feedback 收集的，因此内容通常标记不佳并且有很大噪音 noisy 。因此，很多从业者在
构建初始系统时选择使用临时的启发式方法 heuristics 来 trade-off 。但是，系统的进一步
增长 grow 会使得系统迅速复杂化，从而难以应对接下来的变化。
在论文 《Related Pins at Pinterest: The Evolution of a Real-World Recommender
System》 中，作者给出了在 Related Pins 背景下以独特的机会在三年的时间范围内观察这些
问题。 Related Pins 的初始版本是在 2013 年推出的，是 Pinterest 首次进入推荐系统的尝
试之一。尽管在改善内容发现 content discovery 取得了成功，但是 Related Pins 最初在
工程上受到的关注很少。 2014 年， Pinterest 上大约 10% 的 pins saved 是通过 Related
Pins 发现 discovered 的。 2015 年，一个小团队开始迭代并进一步开发 Related Pins 。现
在， Related Pins 通过多个产品界面 product surfaces 推动了超过 40% 的保存 save 和曝
光 impression ，并且是 Pinterest 上的主要发现机制 primary discovery mechanisms 之
一。论文通过对 Related Pins 的纵向研究，探索了现实世界中推荐系统的挑战。在描述
Pinterest 系统的逐步演变时，作者提出了应对这些挑战的解决方案、 trade-off 的理由、以
及学到的关键洞察 key insights 。
现实世界的推荐系统已经作为音乐推荐 music suggestion 、图像搜索 image search 、视频
发现 video discovery 、电影发现 movie discovery 。其中很多论文描述了 final
system ，然而并没有描述如何逐步增量地 incrementally 构建系统。 《Hidden technical
debt in machine learning systems》 描述了现实世界推荐系统面临的很多挑战，我们提供
了在 Related Pins 中这些挑战的具体例子，并提出了独特的解决方案。
对于 Related Pins ，我们首先考虑最简单、性价比最高 highest-leverage 的产品，从
而达到增量式的里程碑 incremental milestones 并证明可行性 viability 。我们最初
的推荐算法由一个简单的候选生成器 candidate generator 以及很多启发式规则
heuristic rules 组成。尽管它仅在三周内建成，但是它利用了 user-curated boards
中的强烈信号 strong signal 。我们继续添加更多的候选源 candidate sources ，因为
我们发现了覆盖率 coverage 和召回率 recall 之间的 gap 。
随着时间的推移，我们引入了 memorization layer 来提高热门的结果 popular
results 。 Memboost 在工程复杂度和计算强度方面都是轻量级的，但是它能显著地利用大
量的用户反馈 user feedback 。我们不得不考虑位置偏差 position bias ，并以反馈回
路 feedback loops 的形式处理复杂性 complexity ，但是发现付出的代价是值得的。
接下来我们添加了一个机器学习的 ranking 组件，因为我们认为它具有最大的影响潜力。
我们从只有九个特征的基础线性模型开始。当我们发现模型和训练方法的缺点时，我们开始
尝试使用更高级的方法。
每个组件最初都是在工程和计算资源上有很多限制的情况下构建的，因此我们优先考虑了最简单和
最高效的解决方案。我们展示了有机增长 organic growth 如何导致一个复杂的系统，以及我们
如何管理这种复杂性。
11.1 系统介绍
剩余138页未读，继续阅读
高中化学孙环宇
- 粉丝: 14
- 资源: 338
最新资源
- Arduino多级菜单库
- JDFinancial.apk
- 使用numpy从零搭建深度神经网络(DNN)
- LoRaWAN协议与IoT应用：端到端的加密传输和身份验证机制，确保数据在传输过程中的保密性和完整性
- 三菱电脑与机台传输软件
- oRaWAN是一种基于LoRa技术的广域网通信协议，适用于物联网（IoT）场景 您可以使用LoRaWAN协议进行设备通信，并通过
- LoRa网络规划与优化：关于如何设计和优化LoRa网络覆盖范围和数据传输效率的指南和文档
- Python爬虫获取小说信息（带实验报告）
- LoRaWAN应用案例：如城市智能化、农业监控等领域的实际应用案例
- LoRa模块示例应用：例如使用Arduino和Semtech LoRa模块进行远程数据采集和传输
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
评论0