[发明专利]一种基于马尔可夫决策过程和k-最近邻强化学习的排序方法

权利要求书

1.一种基于马尔可夫决策过程和k-最近邻强化学习的排序方法，其特征在于：

(1)将原始数据文件平均分成5个组，每组对应一个子数据集，对这些数据集中的各个数据项进行预处理，生成候选数据集；

(2)读取步骤(1)所述的候选数据集，设定算法的输入参数包括学习率η，折扣因子γ，奖励函数R，随机初始化学习参数w，中间参数Δw初始化为0；

(3)读取步骤(2)所述的参数，完成取样序列E，返回一个序列E；

(4)计算步骤(2)所述的取样序列E的长期累积折扣奖励；

(5)计算在时间步t参数w的梯度，并计算更新中间参数Δw；

(6)重复步骤(3)到(5)，计算更新参数w，直至参数收敛，程序结束；

所述步骤(3)具体包括以下步骤：

11)初始化环境状态s_t和序列E；

12)假设查询q所检索到的的文档有M个，对于排序过程在时间步t＝0至t＝M-1，根据马尔可夫决策过程模型的策略，由当前环境的状态s_t选择一个动作a_t；

其中，A(s_t)是当前环境状态s_t下所有可选择的动作集合，t表示时间步，假设a_t∈A(s_t)是当前环境的状态s_t选择的一个动作，是该选择动作a_t对应的文档，m(a_t)是动作a_t对应的文档的索引，w是模型参数，其维度与文档特征一致；

13)应用奖励函数R，计算在该环境状态s_t下选择动作a_t的奖励回报r_t+1；

其中，是所选择动作文档/的相关性标签，t表示时间步；

14)根据状态转移函数，改变环境状态s_t至s_t+1；

15)应用欧式距离，计算所选动作a_t的k个最近邻动作；

16)将14)计算出的k个最近邻动作，从候选文档集中删除；

17)添加元组(s_t，a_t，r_t+1)至序列E中，完成一个位置排序；

18)完成M次采样序列，得到序列(s₀，a₀，r₁，……，s_M-1,a_M-1,r_M)；

所述步骤(4)中计算步骤(2)所述的取样序列的累积长期折扣奖励，并用G_t表示：

其中，γ是预先设定的折扣因子，γ^k-1表示随着时间步t的增加，折扣因子的作用逐渐减小的变化，r_t+k表示从时间步t＝0开始的奖励回报。

2.根据权利要求1所述的基于马尔可夫决策过程和k-最近邻强化学习的排序方法，其特征在于所述步骤(5)具体包括以下步骤：

21)计算在时间步t的参数w的梯度，并用表示

其中，A(t)是当前环境状态s_t下所有可选择的动作集合，t表示时间步，是选择的动作a_t对应的文档，m(a_t)是动作a_t对应的文档的索引，w是模型参数，其维度与文档特征一致；

22)计算更新在所有时间步t的累积梯度，并用表示：

其中，γ^t是随时间步t的增加，折扣因子逐渐减小的表示，G_t是从时间步t＝0直至t＝M-1的取样序列的累积长期折扣奖励，是在时间步t的模型参数w的梯度；

23)计算更新中间参数Δw，并用Δw表示：

其中，γ^t是随时间步t的增加，折扣因子逐渐减小的表示，G_t是从时间步t＝0直至t＝M-1的取样序列的累积长期折扣奖励，是在时间步t的模型参数w的梯度。

3.根据权利要求1所述的基于马尔可夫决策过程和k-最近邻强化学习的排序方法，其特征在于所述步骤(6)具体包括以下步骤：

31)计算更新参数w，并用w表示：

w＝w+Δw； (8)

其中，w是模型参数，其维度与文档特征一致，Δw是模型的中间参数。