[发明专利]训练点击率预测模型和预测点击率的方法和装置

说明书

本公开的实施例公开了训练点击率预测模型和预测点击率的方法和装置。该方法的具体实施方式包括：获取训练样本集和点击率预测模型；从训练样本集中选取目标训练样本通过第一表示嵌入层和第二表示嵌入层得到稀疏类目向量和用户行为向量；将稀疏类目向量输入基于域的动态参数化层得到第一输出结果；将用户行为向量输入基于用户行为的动态参数化层得到第二输出结果；基于第一输出结果和第二输出结果通过第一全连接层进行点击率预测，得到预测值；根据预测值和目标训练样本的点击标签计算损失值；根据损失值调整点击率预测模型的网络参数。该实施方式实现了根据训练样本生成动态权重，提高点击率预测模型的准确性。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及训练点击率预测模型和预测点击率的方法和装置。

背景技术

近年来，深度神经网络(Deep neural networks，DNN)在点击率(Click-throughrate,CTR)预估任务上取得了巨大的成功。本质上，其核心的组件是一个线性变换，它通过固定内核(fixed kernels)对输入和上下文信息的交互进行建模。从人的角度来看，人们会根据自己的喜好来选择点击哪个商品，或者在点击几个相似的商品后可能会选择点击其他的商品。这种特性伴随着隐含的低阶交互，使得DNN很难感知乘性的关系。如今，大量的研究致力于构建合适的高阶交互模块对这种关系进行建模。在现有的推荐系统中，基于DNN的点击率预估方法对高阶的乘性关系比较难感知，近年来许多工作主要采用DNN+高阶交互模块来对尝试对这种关系进行刻画，但是这些方法无法基于输入和上下文进行自适应的交互，且其模型表达能力和高延迟性的问题限制了其在真实推荐系统中的应用落地。

发明内容

本公开的实施例提出了训练点击率预测模型和预测点击率的方法和装置。

第一方面，本公开的实施例提供了一种训练点击率预测模型的方法，包括：获取训练样本集和点击率预测模型，其中，每个训练样本包括用户信息、商品信息和用户行为序列、点击标签，所述点击率预测模型包括第一表示嵌入层、第二表示嵌入层、基于域的动态参数化层、基于用户行为的动态参数化层、第一全连接层；执行如下训练步骤：从所述训练样本集中选取目标训练样本；将所述目标训练样本的用户信息和商品信息输入第一表示嵌入层得到稀疏类目向量；将所述目标训练样本的用户行为序列输入第二表示嵌入层得到用户行为向量；将所述稀疏类目向量输入点击率预测模型的基于域的动态参数化层，以生成第一权重和第一偏置，并根据所述第一权重和所述第一偏置将所述稀疏类目向量进行线性变化得到第一输出结果；将所述用户行为向量输入基于用户行为的动态参数化层，以生成第二权重和第二偏置，并根据所述第二权重和所述第二偏置对所述用户行为向量进行卷积得到第二输出结果；基于所述第一输出结果和所述第二输出结果通过第一全连接层进行点击率预测，得到预测值；根据所述预测值和所述目标训练样本的点击标签计算损失值；如果损失值小于预定阈值，则确定出点击率预测模型训练完成。

在一些实施例中，该方法还包括：如果损失值大于等于预定阈值，则调整所述点击率预测模型的网络参数，继续执行上述训练步骤。

在一些实施例中，所述点击率预测模型还包括基于搜索行为的动态参数化层、第一多头注意力层、第二多头注意力层、第二全连接层；以及所述基于所述第一输出结果和所述第二输出结果通过第一全连接层进行点击率预测，得到预测值，包括：将所述用户行为向量输入第一多头注意力层，得到第一注意力结果；将所述第一注意力结果和所述第二输出结果的加权和作为第一加权结果；将所述稀疏类目向量输入第二全连接层得到查询向量；将所述第一加权结果和所述查询向量输入基于搜索行为的动态参数化层，以生成第三权重和第三偏置，并根据所述第三权重和所述第三偏置将所述查询向量进行线性变化得到第三输出结果；将所述第一加权结果和所述查询向量输入第二多头注意力层，得到第二注意力结果；将所述第二注意力结果和所述第三输出结果的加权和作为第二加权结果；基于所述第一输出结果和所述第二加权结果通过第一全连接层进行点击率预测，得到预测值。