没有合适的资源?快使用搜索试试~ 我知道了~
前言在计算广告领域,点击率 CTR(click-through rate)和转化率 CVR(conversion rate)是衡量广告流量的两个关键指标。准确的
资源详情
资源评论
资源推荐
深入 FFM 原理与实践
del2z, 大龙 ·2016-03-03 09:00
FM 和 FFM 模型是最近几年提出的模型,凭借其在数据量比较大并
且特征稀疏的情况下,仍然能够得到优秀的性能和效果的特性,屡次
在各大公司举办的 CTR 预估比赛中获得不错的战绩。美团点评技术
团队在搭建 DSP 的过程中,探索并使用了 FM 和 FFM 模型进行 CTR
和 CVR 预估,并且取得了不错的效果。本文旨在把我们对 FM 和 FFM
原理的探索和应用的经验介绍给有兴趣的读者。
前言
在计算广告领域,点击率 CTR(click-through rate)和转化率 CVR
(conversion rate)是衡量广告流量的两个关键指标。准确的估计
CTR、CVR 对于提高流量的价值,增加广告收入有重要的指导作用。
预估 CTR/CVR,业界常用的方法有人工特征工程 + LR(Logistic
Regression)、GBDT(Gradient Boosting Decision Tree) +
LR[1][2][3]、FM(Factorization Machine)[2][7]和 FFM
(Field-aware Factorization Machine)[9]模型。在这些模型中,
FM 和 FFM 近年来表现突出,分别在由 Criteo 和 Avazu 举办的 CTR
预测竞赛中夺得冠军[4][5]。
考虑到 FFM 模型在 CTR 预估比赛中的不俗战绩,美团点评技术团队
在搭建 DSP(Demand Side Platform)[6]平台时,在站内 CTR/CVR
的预估上使用了该模型,取得了不错的效果。本文是基于对 FFM 模
型的深度调研和使用经验,从原理、实现和应用几个方面对 FFM 进
行探讨,希望能够从原理上解释 FFM 模型在点击率预估上取得优秀
效果的原因。因为 FFM 是在 FM 的基础上改进得来的,所以我们首
先引入 FM 模型,本文章节组织方式如下:
1. 首先介绍 FM 的原理。
2. 其次介绍 FFM 对 FM 的改进。
3. 然后介绍 FFM 的实现细节。
4. 最后介绍模型在 DSP 场景的应用。
FM 原理
FM(Factorization Machine)是由 Konstanz 大学 Steffen Rendle
(现任职于 Google)于 2010 年最早提出的,旨在解决稀疏数据下
的特征组合问题[7]。下面以一个示例引入 FM 模型。假设一个广告
分类的问题,根据用户和广告位相关的特征,预测用户是否点击了广
告。源数据如下[8]
Clicked?
Country
Day
Ad_type
1
USA
26/11/15
Movie
0
China
1/7/14
Game
1
China
19/2/15
Game
"Clicked?"是 label,Country、Day、Ad_type 是特征。由于三种特
征都是 categorical 类型的,需要经过独热编码(One-Hot Encoding)
转换成数值型特征。
Clic
ked?
Countr
y=USA
Country
=China
Day=26/
11/15
Day=1/
7/14
Day=19
/2/15
Ad_type
=Movie
Ad_type
=Game
Clic
ked?
Countr
y=USA
Country
=China
Day=26/
11/15
Day=1/
7/14
Day=19
/2/15
Ad_type
=Movie
Ad_type
=Game
1
1
0
1
0
0
1
0
0
0
1
0
1
0
0
1
1
0
1
0
0
1
0
1
由上表可以看出,经过 One-Hot 编码之后,大部分样本数据特征是
比较稀疏的。上面的样例中,每个样本有 7 维特征,但平均仅有 3
维特征具有非零值。实际上,这种情况并不是此例独有的,在真实应
用场景中这种情况普遍存在。例如,CTR/CVR 预测时,用户的性别、
职业、教育水平、品类偏好,商品的品类等,经过 One-Hot 编码转
换后都会导致样本数据的稀疏性。特别是商品品类这种类型的特征,
如商品的末级品类约有 550 个,采用 One-Hot 编码生成 550 个数
值特征,但每个样本的这 550 个特征,有且仅有一个是有效的(非
零)。由此可见,数据稀疏性是实际问题中不可避免的挑战。
One-Hot 编码的另一个特点就是导致特征空间大。例如,商品品类
有 550 维特征,一个 categorical 特征转换为 550 维数值特征,特
征空间剧增。
同时通过观察大量的样本数据可以发现,某些特征经过关联之后,与
label 之间的相关性就会提高。例如,“USA”与“Thanksgiving”、
“China”与“Chinese New Year”这样的关联特征,对用户的点
击有着正向的影响。换句话说,来自“China”的用户很可能会在
“Chinese New Year”有大量的浏览、购买行为,而在
“Thanksgiving”却不会有特别的消费行为。这种关联特征与 label
剩余16页未读,继续阅读
西门镜湖
- 粉丝: 23
- 资源: 296
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0