[发明专利]训练点击率预测模型和预测点击率的方法和装置

权利要求书

1.一种训练点击率预测模型的方法，包括：

获取训练样本集和点击率预测模型，其中，每个训练样本包括用户信息、商品信息和用户行为序列、点击标签，所述点击率预测模型包括第一表示嵌入层、第二表示嵌入层、基于域的动态参数化层、基于用户行为的动态参数化层、第一全连接层；

执行如下训练步骤：从所述训练样本集中选取目标训练样本；将所述目标训练样本的用户信息和商品信息输入第一表示嵌入层得到稀疏类目向量；将所述目标训练样本的用户行为序列输入第二表示嵌入层得到用户行为向量；将所述稀疏类目向量输入基于域的动态参数化层，以生成第一权重和第一偏置，并根据所述第一权重和所述第一偏置将所述稀疏类目向量进行线性变化得到第一输出结果；将所述用户行为向量输入基于用户行为的动态参数化层，以生成第二权重和第二偏置，并根据所述第二权重和所述第二偏置对所述用户行为向量进行卷积得到第二输出结果；基于所述第一输出结果和所述第二输出结果通过第一全连接层进行点击率预测，得到预测值；根据所述预测值和所述目标训练样本的点击标签计算损失值；如果损失值小于预定阈值，则确定出点击率预测模型训练完成。

2.根据权利要求1所述的方法，其中，所述方法还包括：

如果损失值大于等于预定阈值，则调整所述点击率预测模型的网络参数，继续执行上述训练步骤。

3.根据权利要求1所述的方法，其中，所述点击率预测模型还包括基于搜索行为的动态参数化层、第一多头注意力层、第二多头注意力层、第二全连接层；以及

所述基于所述第一输出结果和所述第二输出结果通过第一全连接层进行点击率预测，得到预测值，包括：

将所述用户行为向量输入第一多头注意力层，得到第一注意力结果；

将所述第一注意力结果和所述第二输出结果的加权和作为第一加权结果；

将所述稀疏类目向量输入第二全连接层得到查询向量；

将所述第一加权结果和所述查询向量输入基于搜索行为的动态参数化层，以生成第三权重和第三偏置，并根据所述第三权重和所述第三偏置将所述查询向量进行线性变化得到第三输出结果；

将所述第一加权结果和所述查询向量输入第二多头注意力层，得到第二注意力结果；

将所述第二注意力结果和所述第三输出结果的加权和作为第二加权结果；

基于所述第一输出结果和所述第二加权结果通过第一全连接层进行点击率预测，得到预测值。

4.根据权利要求3所述的方法，其中，所述点击率预测模型还包括基于特征的动态参数化层、第三全连接层、第三嵌入表示层；以及

所述基于所述第一输出结果和所述第二输出结果通过第一全连接层进行点击率预测，得到预测值，包括：

从所述用户信息、商品信息中选择出上下文信息；

将所述上下文信息输入第三嵌入表示层，得到上下文向量；

将所述第一输出结果通过第三全连接层进行线性投射到低维度后和第二加权结果进行拼接，得到拼接结果；

将所述拼接结果和所述上下文向量输入到基于特征的动态参数化层，以生成第四权重和第四偏置，并根据所述第四权重和所述第四偏置将所述拼接结果进行线性变化得到第四输出结果；

将第四输出结果输入第一全连接层，得到点击率的预测值。

5.根据权利要求1所述的方法，其中，所述点击率预测模型还包括基于特征的动态参数化层、第三全连接层、第三嵌入表示层；以及

所述基于所述第一输出结果和所述第二输出结果通过第一全连接层进行点击率预测，得到预测值，包括：

从所述用户信息、商品信息中选择出上下文信息；

将所述上下文信息输入第三嵌入表示层，得到上下文向量；

将所述第一输出结果和第二输出结果通过第三全连接层进行线性投射到低维度后，得到投射结果；

将所述投射结果和所述上下文向量输入到基于特征的动态参数化层，以生成第四权重和第四偏置，并根据所述第四权重和所述第四偏置将所述拼接结果进行线性变化得到第四输出结果；

将第四输出结果输入第一全连接层，得到点击率的预测值。