没有合适的资源?快使用搜索试试~ 我知道了~
基于轻量图卷积增强嵌入学习的点击率预测模型.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 53 浏览量
2022-12-01
09:06:37
上传
评论
收藏 307KB DOCX 举报
温馨提示
试读
9页
基于轻量图卷积增强嵌入学习的点击率预测模型.docx
资源推荐
资源详情
资源评论
1. 引言
点击率(Click-through rate, CTR)预测旨在用户点击目标项目的概率值,是工业竞价广
告的关键领域之一.2020 年受到疫情影响,上半年数字广告收入同比增长下降了 5.2%.但据
2020/2021 互联网广告收入(Internet Advertising Revenue Report, IAB)
[1]
的分析显示,下半年
两个季度以 11.7%、28.7%的势头迅速翻盘.因此,如何高效地预测 CTR 已经引起了学术界
和工业界的广泛关注.
逻辑回归模型因具有轻量级结构和清晰的可解释性应用于 CTR 预测.然而,逻辑回归
不能学习高阶非线性特征交互,而 CTR 预测在输入数据中具有丰富的非线性关系和高维复
杂的多类型对象.为了提高非线性表达能力和降低计算复杂度,研究人员提出了一些改进模
型.2010 年,Rendle 提出了因式分解机
[2]
(Factorization machine, FM),FM 借鉴协同过滤的矩
阵分解方法,将二阶特征交互的参数矩阵分解为隐式向量矩阵的内积,但浅层模型复杂度
有限,非线性表达能力弱,缺乏更深层次的特征交互局限了它的预测能力.而用户点击行为
背后的特征可能是非常复杂的,低阶和高阶特征交互都应该考虑.近年来,深度神经网络凭
借其强大的特征表示学习能力应用于 CTR,它可以自动学习复杂的高阶特征交互.神经因子
分解机(Neural Factorization Machine, NFM)
[3]
作为典型的串行结构计算 FM 中的二次项并同
一次项送至 DNN 层模拟非线性和高阶特征交互.Wide&Deep
[4]
架构中包含模拟低阶的 Wide
部分和模拟高阶的 Deep 部分,通过隐含的、逐位的方式学习高阶特征交互.2017 年,华为
诺亚方舟实验室诞生了一个用于解决复杂特征组合的预测模型 DeepFM (Facatorization-
Machine based neural network)
[5]
.它集成了 FM 和 DNN 的体系结构,并且能在没有任何特征
工程的情况下进行端到端训练.众多预测 CTR 的方法经过多年研究已经取得了很大的进
展,但是仍然存在一些挑战,这些挑战限制了现有方法的性能及在实际应用工业中的性能.
不同特征共存的特征交互方法不可避免地导致特征稀疏性问题.海量训练数据中,大量
特征出现频次极低.特征稀疏问题旨在一阶、二阶或高阶特征交互过程中形成的特征簇,而
许多特征短暂未参与交互则离散无法在后续出现.在 CTR 预测研究过程中,特征无法共存
的特征稀疏问题将极大地影响特征交互.随着真实推荐系统中用户和项目数量的不断增长,
在训练集中递增式出现频率极低的特征,而绝大多数参数是由特征嵌入层构成,这就导致
很难学习到这些特征的良好表示.最近逐步涌现出对该问题的关注,2019 年阿里巴巴在
KDD 发布的 Res-embedding
[6]
首先意识到优化特征嵌入表达对于模型能力的重要性,它旨
在形成特征嵌入类簇较小的半径,以此增加模型泛化性能.因此,能够找到高效的特征嵌入
表达,对于系统效果来说是至关重要的.
近年来,图类数据的深度神经网络技术发展迅速.这种深度神经网络体系结构被称为图
神经网络(Graph Neural Network, GNN)
[7]
,被提出用于学习图类数据表示.不同于传统的深度
学习模型,它可以对非欧几里得空间数据(如社交网络
[8]
、信息网络等)进行处理,通过聚集
来自邻居节点信息来更新状态并与邻居交互.GNN 的主要思想是如何使用神经网络迭代地
资源评论
罗伯特之技术屋
- 粉丝: 3962
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功