[发明专利]排序方法、装置、电子设备及可读存储介质

权利要求书

1.一种排序方法，其特征在于，所述方法包括：

获取待查询的查询语句；

根据所述查询语句获取待排序的多个兴趣点；

利用预先训练的排序模型对每个所述兴趣点进行打分，获得每个所述兴趣点对应的第一排序分数；

利用预先训练的强化学习模型对每个所述兴趣点进行价值评估，获得每个所述兴趣点对应的第二排序分数；

根据所述每个所述兴趣点对应的第一排序分数与第二排序分数对所述多个兴趣点进行排序，获得排序结果。

2.根据权利要求1所述的方法，其特征在于，所述根据每个所述兴趣点对应的第一排序分数与第二排序分数对所述多个兴趣点进行排序，获得排序结果，包括：

将每个所述兴趣点对应的第一排序分数与第二排序分数进行相加，获得每个所述兴趣点对应的排序总分数；

基于每个所述兴趣点对应的排序总分数对所述多个兴趣点进行排序，获得排序结果。

3.根据权利要求1所述的方法，其特征在于，所述根据每个所述兴趣点对应的第一排序分数与第二排序分数对所述多个兴趣点进行排序，获得排序结果，包括：

将每个所述兴趣点对应的第一排序分数与第二排序分数进行平均，获得每个所述兴趣点对应的排序平均分数；

基于每个所述兴趣点对应的排序平均分数对所述多个兴趣点进行排序，获得排序结果。

4.根据权利要求1所述的方法，其特征在于，所述利用预先训练的强化学习模型对每个所述兴趣点进行价值评估，获得每个所述兴趣点对应的第二排序分数，包括：

利用预先训练的强化学习模型中的价值函数对每个所述兴趣点进行价值评估，获得每个所述兴趣点对应的第二排序分数；

其中，所述价值函数为：q_π(s,a)＝E_π[G_t|S_t＝s,A_t＝a]；

其中，所述价值函数表示为从状态s出发，采取行动a后，按照策略π采取行为得到的期望汇报，所述期望汇报为所述第二排序分数；

其中，G_t表示从t时刻开始对每个所述兴趣点的历史点击行为获得的累积奖励，S_t表示在t时刻的状态，A_t表示在t时刻采取的动作，q_π表示按照策略π采取行为得到的价值函数，E_π表示按照策略π采取行为得到的期望。

5.根据权利要求1所述的方法，其特征在于，所述排序模型为学习排序LTR模型，所述利用预先训练的排序模型对每个所述兴趣点进行打分，获得每个所述兴趣点对应的第一排序分数，包括：

利用预先训练的所述LTR模型中的评分函数对每个所述兴趣点与所述查询语句之间的相关度进行打分，获得每个所述兴趣点对应的第一排序分数。

6.根据权利要求1所述的方法，其特征在于，所述获取待查询的查询语句之前，所述方法还包括：

获取多个第一训练查询语句以及基于每个第一训练查询语句获得的多个第一训练兴趣点，每个第一训练兴趣点标注有对应的第一排序分数；

将所述多个第一训练查询语句与所述多个第一训练兴趣点作为所述排序模型的输入，将所述每个第一训练兴趣点对应的第一排序分数作为所述排序模型的输出，对所述排序模型的评分函数进行训练，当所述评分函数满足训练完成要求时，获得训练好的排序模型。

7.根据权利要求1所述的方法，其特征在于，所述获取待查询的查询语句之前，所述方法还包括：

获取多个第二训练查询语句以及基于每个第二训练查询语句获得的多个第二训练兴趣点，每个第二训练兴趣点标注有对应的第二排序分数；

将所述多个第二训练查询语句以及所述多个第二训练兴趣点作为所述强化学习模型的输入，将所述每个第二训练兴趣点对应的第二排序分数作为所述强化学习模型的输出，对所述强化学习模型的价值函数进行训练，当所述价值函数满足训练完成要求时，获得训练好的强化学习模型。