[发明专利]一种基于动态深度注意力模型的点击率预测方法

说明书

本发明公开了一种基于动态深度注意力模型的点击率预测方法，包括以下步骤：S1、在客户端获取用户对推荐项目点击的多个原始数据组；S2、对存储在服务器的多个原始数据组进行预处理，得到多类别的特征数据；S3、将多类别的特征数据输入输入层，得到高维稀疏向量；S4、将高维稀疏向量输入嵌入层，通过嵌入层将高维稀疏向量映射为低维向量数据；S5、通过维数转换层将低维向量数据转换为标准维度向量数据；S6、通过交互层提取标准维度向量数据的高阶特征交互数据；S7、根据高阶特征交互数据，通过输出层计算点击率预测结果；本发明解决了现有点击率预测模型中忽略了对不同的特征需要不一样的计算资源的问题。

技术领域

本发明涉及信息投放领域，具体涉及一种基于动态深度注意力模型的点击率预测方法。

背景技术

对于大多数互联网公司，例如Google，Amazon和Facebook，推荐系统都是必不可少的。点击率(CTR)预测在推荐系统中起着至关重要的作用，该系统的任务是预测用户点击推荐项目(如广告，音乐或电影)的可能性。预测的性能对两个方面都有重要影响。一方面，它直接决定了商业提供者的最终收入。另一方面，它影响用户体验，这对公司的长期发展具有重要意义。由于其卓越的作用，它引起了人们对研究和工业的越来越多的兴趣。

机器学习最近在点击率预测中发挥了关键作用。众所周知，特征工程通常被认为是成功完成机器学习任务的关键之一。除了使用原始特征之外，对原始特征进行有效转换以提高预测模型的性能通常也很重要。交叉特征是特征变换的主要类型，稀疏原始特征相乘来形成新特征。例如，向20至30岁的女性推荐玫瑰金iPhone是合理的。但是，要找到这种有意义的组合功能，很大程度上取决于领域专家。而且，几乎不可能手动进行所有有意义的组合。为了解决这个问题，现有提出了因式分解机(FM)来建模特征相互作用，并已被证明可用于各种任务。但是，由于其多项式拟合时间的限制，它通常适合于对低阶特征交互进行建模，而对于捕获高阶特征交互则不切实际。

为了对高阶特征交互进行建模，已经提出了许多基于深度神经网络(DNN) 的工作。这些模型更具表现力，并且可以探索大多数特征相互作用。最近的研究表明，当目标是大量不相关函数的集合时，DNN存在梯度不敏感的问题。简单的DNN模型很难找到合适的特征交互。因此，已经提出了一些复杂的体系结构，例如神经因子分解机(NFM)和CIN。然而，事实证明，全连接神经网络在学习乘法特征交互作用方面是低效的，并且这些模型只是在枚举所有特征相互作用。显然，不同的特征对目标任务的重要性不同。例如，电影的主角对观众的影响要大于配角。因此，为了获得更好的结果，模型需要更多地关注有用的特征交互。通常的想法是，某些重要数据可能需要更多的计算才能产生可靠的结果，而一些简单或不重要的数据可能需要更少的计算。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于动态深度注意力模型的点击率预测方法解决了现有点击率预测模型中忽略了对不同的特征需要不一样的计算资源的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于动态深度注意力模型的点击率预测方法，所述动态深度注意力模型包括依次连接的输入层、嵌入层、维数转换层、交互层和输出层，其方法包括以下步骤：

S1、在客户端获取用户对推荐项目点击的多个原始数据组；

S2、将多个原始数据组上传至服务器进行存储，并对存储在服务器的多个原始数据组进行预处理，得到多类别的特征数据；

S3、将多类别的特征数据输入输入层，得到高维稀疏向量；

S4、将高维稀疏向量输入嵌入层，通过嵌入层将高维稀疏向量映射为低维向量数据；

S5、通过维数转换层将低维向量数据转换为标准维度向量数据；

S6、通过交互层提取标准维度向量数据的高阶特征交互数据；

S7、根据高阶特征交互数据，通过输出层计算点击率预测结果。