[发明专利]点击率预估模型的训练方法、预估点击率的方法、装置

权利要求书

1.一种点击率预估模型的训练方法，所述点击率预估模型包括第一神经网络和第二神经网络，所述方法包括：

获取训练样本集合，其中，所述训练样本集合中的训练样本来自m个内容产品线，m为大于1的整数，每个训练样本包括样本用户特征和样本内容特征；

通过将所述训练样本集合中的训练样本依次输入所述第一神经网络，训练所述第一神经网络，其中，所述第一神经网络包括n层网络层，n是大于等于3的整数，所述第一神经网络的输出为样本内容被点击的概率；以及

通过将所述第一神经网络的第n-2层的输出连同与所述m个内容产品线之一相关联的场景化特征输入所述第二神经网络，训练所述第二神经网络，其中，所述第二神经网络包括两层网络层，所述两层网络层中的第一层复制所述第一神经网络的第n-1层的网络结构和网络参数，并接收所述第一神经网络的第n-2层的输出作为输入，所述两层网络层中的第二层接收所述第一层的输出与所述场景化特征的拼接结果作为输入，并包括与所述m个内容产品线分别对应的m个输出节点，每个输出节点各自输出所述样本内容被点击的概率，其中，对于来自所述m个内容产品线中的第i个内容产品线的训练样本，所述场景化特征与所述第i个内容产品线相关联，i为大于等于1且小于等于m的整数。

2.根据权利要求1所述的方法，其中，所述训练所述第一神经网络包括：

计算所述第一神经网络的损失函数loss₁，其中，对于来自所述第i个内容产品线的当前训练样本，所述损失函数loss₁与来自所述第i个内容产品线的训练样本的数量占所述训练样本集合中的训练样本总数的比率负相关；以及

通过最小化所述损失函数loss₁调整所述第一神经网络的所述n层网络层的网络参数。

3.根据权利要求2所述的方法，其中，loss₁＝(1-γ_i)loss_{cross-entropy_1}，其中，loss_{cross-entropy_1}为交叉熵损失函数，其中，N_i为来自所述第i个内容产品线的训练样本的数量，∑_j∈RN_j为所述训练样本集合中的训练样本总数。

4.根据权利要求1所述的方法，其中，所述第二神经网络的所述第二层包括m组网络参数，所述m组网络参数分别对应所述m个输出节点，

其中，所述训练所述第二神经网络包括：

计算所述m个输出节点各自对应的损失函数loss₂(k)，其中，k为大于等于1且小于等于m的整数，对于来自所述第i个内容产品线的当前训练样本，对于k＝i，所述损失函数loss₂(k)具有第一权重，对于k≠i，所述损失函数loss₂(k)具有小于所述第一权重的第二权重；以及

通过最小化所述损失函数loss₂(k)调整所述m组网络参数中的第k组网络参数。

5.根据权利要求4所述的方法，其中，

其中，loss_{cross-entropy_2}为交叉熵损失函数，N_k为来自第k个内容产品线的训练样本的数量，∑_i∈RN_i为所述训练样本集合中的训练样本总数。

6.根据权利要求1-5中任一项所述的方法，其中，所述样本用户特征包括：样本用户的属性特征、样本用户的行为特征、样本用户的请求特征中的一个或多个。

7.根据权利要求1-5中任一项所述的方法，其中，与所述第i个内容产品线相关联的所述场景化特征包括标识所述第i个内容产品线的特征。

8.根据权利要求1-5中任一项所述的方法，其中，所述训练样本集合中的训练样本包括所述场景化特征。