[发明专利]一种用于信息检索的强化学习模型构建方法

说明书

本申请涉及信息检索领域，特别是涉及一种用于信息检索的强化学习模型构建方法，所述方法包括：S100，获取查询信息Q的特征编码q和候选文档集合中各候选文档的特征编码；S200，构建MDP模型，其中：MDP模型的初始状态ssubgt;0/subgt;＝[0，q]，MDP模型的智能体在初始状态下选择动作asubgt;0/subgt;的概率分布为π(asubgt;0/subgt;|ssubgt;0/subgt;；w)；S300，根据长期奖励对MDP模型进行模型训练。本发明提高了信息检索时文档排序的精确性。

技术领域

本发明涉及信息检索领域，特别是涉及一种用于信息检索的强化学习模型构建方法。

背景技术

随着互联网的快速发展，学习排序(Learning to rank，简称L2R)技术也越来越受到关注，这是机器学习常见的任务之一。信息检索时，给定一个查询目标，需要算出最符合要求的结果并返回。现有技术中公开了使用马尔科夫决策过程(MDP)去生成文档排序，这在一定程度上缓解了排序复杂度的问题。但是，现有技术中基于MDP的强化学习模型多为基于一阶马尔科夫决策过程，这造成了每个文档的位置只与前一个文档相关，而与其更前面的一些文档无关，进而影响了信息检索时文档排序的精确性。如何提高信息检索时文档排序的精确性，是亟待解决的问题。

发明内容

本发明目的在于，提供一种用于信息检索的强化学习模型构建方法，以提高信息检索时文档排序的精确性。

根据本发明，提供一种用于信息检索的强化学习模型构建方法，包括以下步骤：

S100，获取查询信息Q的特征编码q和候选文档集合中各候选文档的特征编码。

S200，构建MDP模型，其中：MDP模型的初始状态s₀＝[0，q]；MDP模型的智能体在初始状态下选择动作a₀的概率分布所述动作a₀用于从所述候选文档集合中选择候选文档为候选文档的特征编码，w为预设的初始化的可训练参数，x_m(a)为动作a从所述候选文档集合中选择的候选文档d_m(a)的特征编码，A(s₀)为初始状态s₀下可选的动作集合，()^H为()的共轭转置矩阵；MDP模型的初始奖励函数为预设的候选文档的相关性标签；MDP模型的智能体在第t步对应的状态s_t下选择动作a_t的概率分布为动作a_t从所述候选文档集合中选择的候选文档的特征编码，A(s_t)为第t步对应的状态s_t下可选的动作集合；ρ_t为包含智能体前n-1个所选的候选文档的量子概率分布算子，n为预设值，MDP模型的决策奖励函数是预设的动作a_f从所述候选文档集合中选择的候选文档的相关性标签。

S300，根据长期奖励对MDP模型进行模型训练；其中，长期奖励λ为预设的折扣因子，r_k为MDP模型返回的第k个候选文档的特征编码的奖励，k的取值范围为1到M，M为所述候选文档集合包括的候选文档的数量，E为期望。

本发明与现有技术相比具有明显的有益效果，借由上述技术方案，本发明提供的一种用于信息检索的强化学习模型构建方法可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有以下有益效果：

本发明考虑了多个候选文档间的排序依赖关系，将一阶马尔科夫决策过程拓展到n阶马尔科夫决策过程，本发明相较于现有的强化学习排序模型在相关性预测效果上有所提升，提高了信息检索时文档排序的精确性。

进一步的，本发明通过量子语言模型构建查询和候选文档的特征，通过量子概率理论计算智能体可能动作的概率，在排序过程中引入了更长的候选文档序列信息，在没有增加排序的复杂度的情况下提高了文档排序的精确性。

附图说明