[发明专利]一种基于深度强化学习的动态路径优化问题求解方法

权利要求书

1.一种基于深度强化学习的动态路径优化问题求解方法，其特征在于，包括以下步骤：

S1：动态路径优化问题定义：在有向完全图G＝(V,E)上，其中V代表点集，包含了1个仓库点、c位需要服务的顾客，用集合C表示，和n-c-1个可能需要服务的顾客的地点；E代表边集，由于动态路径优化问题是一个非对称性问题，即不保证边集E中方向相反的边长度相等，求从仓库点出发，然后访问集合C中所有的顾客恰好一次，最后回到仓库点的最小时间；

S2：构建深度强化学习框架，所述深度强化学习框架包括四个组成部分，分别为状态、智能体、动作和奖励，所述状态包括所有顾客及所有点对之间预计所需要的通行时间，所述智能体在不同状态下进行决策，得到对应的动作，所述动作为下一位访问的顾客，所述奖励为从仓库点出发，访问所有顾客后回到仓库点所需要的时间；

S3：利用深度强化学习框架得出优化后的路径；

步骤S2中所述状态包括静态部分和动态部分，其中，静态部分包括每一位顾客的编号及在各时间片上每两个点之间预计所需的通行时间，顾客的编号为每个顾客在数据集中出现次序，动态部分包括在某一特定时刻，每两个点之间预计所需通行时间，以及每个点是否被访问；

在各时间片上每两个点之间预计所需的通行时间y_i通过地图API查询得到，在t时刻，每两个点之间预计所需通行时间g_ij(t)通过对y_i进行三次样条拟合得到；

每个点的访问情况v_i(t)初始为1，若某位顾客在t时刻被访问，则对于所有 t′＞t，都有v_i(t′)＝0；

所述智能体采用一个编码解码结构的注意力模型，由编码器和解码器组成，所述编码器将所述状态的静态部分编码至每个顾客的特征向量上，解码器将所述状态的动态部分编码至中间向量，再将每位顾客的特征向量及中间向量解码到每位顾客被选为下一位访问顾客的概率p_i，之后，解码器根据每位顾客的访问状况v_i(t)和概率p_i选择下一位访问的顾客j。

2.根据权利要求1所述的基于深度强化学习的动态路径优化问题求解方法，其特征在于，所述编码器由多个全连接神经网络和一个多层自注意力网络组成，所述解码器由多个全连接神经网络和一个单层自注意力网络组成。

3.根据权利要求2所述的基于深度强化学习的动态路径优化问题求解方法，其特征在于，所述智能体选择完下一位访问的顾客j后，当前时刻t需要加上当前路径实际花费的通行时间f_lj(t)，其中l为上一位访问的顾客，f_lj(t)＝g_lj(t)+Φ，式中，g_lj(t)为在t时刻，顾客l和顾客j之间预计所需的通行时间，Φ为一个服从正态分布的随机变量。

4.根据权利要求3所述的基于深度强化学习的动态路径优化问题求解方法，其特征在于，更新当前时刻的同时，状态的动态部分也随之被改变：重新获得当前时刻的预计通行时间，并将访问状况中已经服务顾客对应的访问情况设置为0，此时，解码器将根据新的状态进行下一轮的解码。