[发明专利]一种基于改进Q-learning算法的最短路径问题的解决方法

说明书

本发明公开了一种基于改进Q‑learning算法的最短路径问题的解决方法，具体包括：建立位置‑动作的价值表格，将Q表全部初始化为0，选择合适的更新步长、贪婪参数、奖赏折扣及平滑参数；根据最短路径问题的要求设置初始位置记作x₀，目标位置记作x_tf；将当前位置记作X，并将初始位置赋值给当前位置，用epsilon‑greedy方法选取动作，记为A；在X处采取动作A，并记录获得的收益r和采取动作A后转移到的位置X’，若X’等于目标位置x_tf，则将初始位置x₀赋值给X，否则将X’赋值给X；更新Q表；取位置X邻近的所有位置将其记作X_1,X_2,…_,X_n，并更新Q表；重复上述步骤直到Q表收敛。本发明缓解了目前已有的使用Q‑learning解决最短路径问题问题时Q表格收敛时间长的问题。

技术领域

本发明涉及一种基于改进Q-learning算法的最短路径问题的解决方法，属于强化学习技术领域。

背景技术

最短路径问题广泛存在于导航、城市规划、电子游戏等领域。传统的最短路径问题的解决方法一般依赖于最短路径算法，例如Floyd算法、Dijkstra算法、或者A^*算法等搜索算法。近年来，随着强化学习的兴起，强化学习在最短路径问题中的运用也越来越广泛。Q-Learning算法是一种经典的强化学习算法，最早于20世纪90年代初提出，最早的Q-Learning是基于Q表格的，即一张表格，表格中记录了在任一状态下采取任一动作的价值，这个价值一般记作Q(x,a)，其中，x表示状态，a表示所采取的动作。虽然Q-Learning的提出距今已经很多年了，但是这种算法依然没有过时，许多改进过的Q-Learning算法大放异彩，例如2013年研究人员将Q-Learning与人工神经网络相结合提出了Deep Q-Learning(DQN)算法；2015年Google公司旗下的DeepMind团队继续改进了DQN算法，将改进后的算法用于玩Atari游戏，并在很多款游戏中取得了超越人类的好成绩。

尽管DQN算法非常强大，但是现实中依旧有一些问题需要使用Q表格来解决，而Q表格有一种缺陷——它没有考虑到不同状态之间的相似程度，而且，当状态的数量比较多时，Q表难以收敛甚至无法收敛。对于很多工程问题而言，有一些状态比较相似，有一些状态不那么相似，在相似的状态上采取的动作也应该是相似的。

发明内容

本发明所要解决的技术问题是：提供一种基于改进Q-learning算法的最短路径问题的解决方法，该方法解决了在使用Q-Learning算法寻找最短路径过程中Q表格难以收敛的问题。

本发明为解决上述技术问题采用以下技术方案：

一种基于改进Q-learning算法的最短路径问题的解决方法，包括如下步骤：

步骤1，建立位置-动作的价值表格，即Q表，将Q表全部初始化为0，并设置如下参数：更新步长α、贪婪参数ε、奖赏折扣γ及平滑参数s；

步骤2，将最短路径问题的初始位置记为x₀，目标位置记为x_tf；

步骤3，将当前位置记为X，并将初始位置赋值给当前位置，用ε-greedy方法选取动作，将这个被选取的动作记为A；

步骤4，在位置X处采取动作A，并记录获取的收益r和采取动作A后转移到的位置X′，若位置X′等于目标位置x_tf，则将初始位置x₀赋值给X，否则将X′赋值给X；