论文研究-基于卷积-LSTM网络的广告点击率预测模型研究.pdf

所需积分/C币:15 2019-09-11 14:19:08 645KB .PDF
110
收藏 收藏
举报

点击率预测是计算广告学的核心算法之一。传统浅层模型没有充分考虑到数据之间存在的非线性关系,且使用人工特征提取方法费时费力。针对这些问题,提出了基于卷积(Convolutional Neural Networks)-LSTM(Long Short Term Memory)混合神经网络的广告点击率预测模型。该模型使用卷积神经网络提取高影响力特征,并通过LSTM神经网络的时序性进行预测分类。实验结果证明:与浅层模型或单一结构的神经网络模型相比,基于卷积-LSTM的混合神经网络模型能有效提高广告点击事件的预测准确率。
厍向阳,等:基于卷积 网络的广告点击率预测模型研究 下模型训练算法 算法卷积 神经网络模型 输入:训练集D 参数初始化:卷积核个数j,卷积核大小h,输出向 量绻度n 层数l 隐层节点m,迭代次数1 获取特征向量x,={lx:≠O t=1 将输入卷积神经网络,进行卷积和池化操作得到 高影响力的特征向量y 图 单元模块内部结构 +b)使用函数作为激励函数 y= carpooling(8m+b)最大池化,移动步长为 i,=o(w.a\.+D) 将y输入神经网络,进行预测和分类 山(W[,d+) [h1-1,y+b,) CCA1/ h nhic W。[h b 将神经网络的输出概率h输入 h,=0, tanh(Ct) ()中,得到取值在到范围内的结果概率P,设置阙值对结果 其中,、i、C1、0分别表示忘记门输入门、细胞状进行分类 将分类结果与样标签进行对比,计算交义熵损失函 念利输出门;W,、W2、W。、W分别表示不同状态的数,并使用 优化方法对权值进行优化 门对应的权值;b、h、b。、b分别表示不同状态的门 输岀:训练完成的参数确定的模型 对应的偏置;h表示当前节点的输出;x表示当前节 点的输入;C表示计算过程屮的候选值向量;σ表示 算法测试与实验结果分析 激励函数 数据分析 实验使用的数据集为年 竞賽中 卷积 混合神经网络模型 公司提供的开源数据集。在原始数据的训练集中抽取 基本思想 了万条数据进行实验。每条数据的维度为维,其 卷积混合神经网络分为三层结构。第一层:中包含个连续型特征(包含个经过数据脱敏处理的 将原始特征去重、去除长尾数据后进行独热向量编码特征)和个类别型特征。样本标的取值为或,分 使其映射到k维空间中,为编码别表示负样本与正样本。原始训练数据屮,正样本的比 后的向量维度最后取其索引值得到新特征。第二层:例为 抽取的数据中,正样本比例为 比 将新特征输入卷积神经冈络,设置若干卷积层和池化例与原始训练数据相近,不会对实验结果造成影响。 层,并加入 层随机选择隐藏层的部分节点,防 评价指标 止过拟合。通过卷积核滑动和权值共亨获得局部感知 本文采用了两种评价指标来检验模型的训练效果。 城中特征间的关系,提取高影响力的特征。第三层:将 的值是受试 的输出作为 神经网络的输入,使用分层的者工作特征曲线 进行分类得到预测值,如图所示。 曲线下的面积值,将混淆矩阵中的假止率( )和真正率( )分别作为曲线 卷 卷积的横坐标与纵坐标,通过阈值的不同可计算得出 曲线 的取值在到之间,的值越大,分类 池化 器效果越好 络 p2 P )对数损失( )。对数损失的值 越小,分类器效果越好。其主要公式如公式()所示 神经网络进行分类 gs=->(yk(p)+(1-y)g(x-p)() 图卷积 混合神经网络算法结构 其中,y表示第z个样本的真实点击值,点击为,点 算法描述 击为;表示第z个样本的预测点击值;N表示样本 针对上述卷积 混合神经网树络模聖,设计出如个数 () 计算机工程与应用 实验参数设置 表实验环境配置 在神经网络中,层数和特征图屮神经元的数目越 实验环境 配置 多,所表达的特征空间越大,神经网络模型的学习过程 操作系统 也就越复杂,但消耗的时间复杂度和空间复杂度也会越。 内存硬盘 大,并且会出现过拟合的现象,因此要根据问题选择合 程序语言 适的参数,得到最优结果。为了使模型得到的结果最 程序框槊 优,实验进行了大量的调参工作。其中涉及到的参数主 在相同的特征处理环境下,将数据集按:的比例 要包括:卷积核个数、人小及移动步长、输出 分割为训练数据和测试数据,模型每学习一次训练数 向量的维度、 层数 隐藏层节点数 值、模型的优化方法及学习率经过测试发现,输 据,便将测试数据输入进行预测,迭代次后取最优 值和 值,并记录迭代过程所消耗的时间。 出向量的维度、层数、模型学习率、优化方法对实 验结果影响相对较大。模型使用不同参数值迭代次 实验使用了深层及浅层的种模型进行点击率预 测,实验结果如表所示其中表示逻辑回归模型; 取最优值结果如图所示。 模型是·种基于矩阵分解的机器学习算法,能够有 效地学习特征间的关系,处理高维稀疏数据;表示普 通神经网络模型; 表示本文提出的卷积 混合神经络模型。 层数 学习率 表模型测试结果 预测模型 值 值消耗时间 隐藏层节点数 优化方法 图参数对比实验结果 实验结果分析:()深层模型的预测效果整体优于 经过上述实验对比,卷积 混合神经网络模型传统浅层模型。浅层模型的 值和 值在第 的参数设置如表所示。 次迭代之后基本收敛,模型的预测效果优于模 表卷积 混合神经网络模型参数设置 的预测效果优于普通模型()卷 参数 值 积 混合神经网络模型的值和 值均 卷积核个数、大小及移动步长(, 优于单一结构的模型与模型。相比于 输出问量的维度 模型,其值提高了 值降低了 层数 隐藏层节点数 相比于模型,其值提高了 值 优化方法 降低了 )卷积 混合神经网终模型的层 模型学刁率 数较多,复杂度较高,其训练消耗的时间比单一结构的 单一结构的模型与模型的参数设置如神经网络模型略多 表所示 表单一结构的模型与模型参数设置 结東语 模型 参数 本文根据当前在线广告数据互异特征之间相关度 卷积核个数大小及移动步长 高、人提取特征费时费力等问题,实验分析了几种浅 全连接层节点数 层预测模型与深层预测模型的优缺点。实骀证明:卷 优化方法及学习率 积 混合神经网络模型的效果优于传统的广告点 隐藏层节点数 山率预测模型。通过卷积核滑动提取的高影响力特征, 优化方法及学习率 在减少人工和时间成本的同时,有效地提高了模型效 实验结果与分析 果;使川 神经网络进行广告点击率预测,提高了 本文的实验环境配置如表所示。 分类准确度。 厍向阳,等:基于卷积 网络的广告点击率预测模型研究 参考文献 刘鹏,王超计算厂告:联网商业变现的市场与技术 北京:人民邮电出版社, 张志强,周永,谢哓芹,等基于特征学习的广告点击率预 周傲英,周敏奇,宫学庆计算广告:以数据为核心的 估技术研究计算机学报,,(): 综合应用计算机学报, 周飞燕,金林鹏,董军卷积神经网络研究综述计算机 学报 李春红,吴英,覃朝男基于 变量选择方法的网络 广告点击率预测模型究数理统计与管理,, 李思琴基于深度学习的搜索广告点击率预测方法研究 哈尔滨:哈尔滨工业大学, (上接第页)

...展开详情
试读 5P 论文研究-基于卷积-LSTM网络的广告点击率预测模型研究.pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
关注 私信
上传资源赚钱or赚积分
最新推荐
论文研究-基于卷积-LSTM网络的广告点击率预测模型研究.pdf 15积分/C币 立即下载
1/5
论文研究-基于卷积-LSTM网络的广告点击率预测模型研究.pdf第1页

试读结束, 可继续读1页

15积分/C币 立即下载 >