[发明专利]文档排序方法、装置、电子设备及存储介质

说明书

本申请实施例公开了一种深度神经网络及其训练方法、装置、电子设备及存储介质，所述深度神经网络包括：输入层网络，用于对输入特征进行建模，得到底层特征；隐藏层网络，用于对底层特征进行建模，以提取高阶特征；预测层网络，包括单文档预测子网络、文档列表预测子网络、单文档预测节点和文档列表预测节点，单文档预测子网络用于基于单文档方式对高阶特征进行打分预测并将预测结果通过单文档预测节点输出，文档列表预测子网络用于基于文档列表方式对高阶特征进行打分预测，并将预测结果通过文档列表预测节点输出。本申请实施例可以同时提高全局评估指标和列表评估指标。

技术领域

本申请涉及人工智能技术领域，特别是涉及一种用于排序学习的深度神经网络及其训练方法、装置、电子设备及存储介质。

背景技术

排序学习(Learning To Rank，LTR)是机器学习技术在搜索排序场景中的典型应用，是推荐、搜索以及广告的核心算法，对用户体验等方面有重要影响。排序学习通过有监督学习方法，利用有标记的训练样本训练排序打分模型，对用户请求和被检索文档之间的相关度进行评估，从而将搜索结果进行合理的排序。根据模型结构划分，可以分为线性模型、树模型、深度学习模型，以及他们之间的组合模型，而深度学习模型为现阶段排序学习的主流模型。

在排序学习场景下，常用的评估指标可以被分为两类：全局评估指标和列表评估指标。全局评估指标旨在评估模型对于每一个用户请求和被检索文档之间的相关性是否被合理的估计，通常使用全局AUC(Area Under Curve， ROC曲线下面积)和RMSE(Root MeanSquared Error，均方根误差)来进行衡量。而列表评估指标旨在评估最终模型给出的排序结果是否合理，通常使用MAP(Mean Average Precision，平均精度均值)和NDCG(Normalized Discounted Cumulative Gain，归一化折损累计增益)来进行衡量。

在训练方式上，排序学习可以分为单文档方式(Pointwise)、文档对方式(Pairwise)、文档列表方式(Listwise)这三类。现有的单文档方式针对全局评估指标进行优化，可以在全局评估指标上取得较好的训练结果，然而在列表评估指标上的表现往往明显不如文档列表方式。现有的文档列表方式针对列表评估指标进行优化，取得了很好地训练结果，然而，该训练方式仅能从有点击的列表数据中获取信息，大量的无点击的搜索日志中蕴藏的信息则无法被模型所利用，而且由于其只考虑列表内的相对排序关系，无法对指定的用户请求和被检索文档对给出具有绝对的相似度评估，故在全局评估指标上表现相对较差。因此，通过现有的单文档方式或文档列表方式训练的模型，不能同时具有较好的全局评估指标和列表评估指标。

发明内容

本申请实施例提供一种用于排序学习的深度神经网络及其训练方法、装置、电子设备及存储介质，以提升模型的列表评估指标和全局评估指标。

为了解决上述问题，第一方面，本申请实施例提供了一种用于排序学习的深度神经网络，包括：

输入层网络，用于对输入特征进行建模，得到底层特征；

隐藏层网络，用于对所述底层特征进行建模，以提取高阶特征；

预测层网络，包括单文档预测子网络、文档列表预测子网络、单文档预测节点和文档列表预测节点，所述单文档预测子网络用于基于单文档方式对所述高阶特征进行打分预测并将预测结果通过单文档预测节点输出，所述文档列表预测子网络用于基于文档列表方式对所述高阶特征进行打分预测，并将预测结果通过文档列表预测节点输出。

第二方面，本申请实施例提供了一种用于排序学习的深度神经网络的训练方法，包括：

将训练数据分别组织为单文档方式对应的第一训练样本和文档列表方式对应的第二训练样本；

随机初始化深度神经网络的输入层网络参数、隐藏层网络参数和预测层网络参数，所述预测层网络参数包括单文档预测子网络参数和文档列表预测子网络参数；