[发明专利]一种动态随机环境的路径规划方法和装置

说明书

本发明实施例提供一种动态随机环境的路径规划方法和装置，涉及计算机信息处理领域，能够在动态随机环境下找到最优路径。该方法包括：定义特征向量空间，将初始节点的状态值赋予初始中间量，根据该初始中间量，获取初始节点的运行动作、前进节点的状态值和运行动作，同时依据基于CMAC的递归最小二乘Q强化学习算法，对中间参数进行更新；然后将前进节点的状态值赋予初始中间量后重复上述流程，直至初始中间量和终止节点的状态值相同时，重复上述从初始节点的状态值赋予初始中间量开始的流程；依据递归最小二乘解公式计算权值行向量的确定值，以获取目标特征向量空间，根据目标特征向量空间和权利向量的确定值获取最终Q值表，以得到最优路径。

技术领域

本发明涉及计算机信息处理领域，尤其涉及一种路径随机环境的路径规划方法和装置。

背景技术

障碍物避障是路径寻优中必不可缺的一环，可以说在动态随机环境中的路径寻优就是在避开障碍物的前提下，找到从初始点到目标点的最短路径。现有寻路算法中的广度优先搜索算法、蚁群算法、遗传算法以及A*算法等路径寻优算法，需要知道环境模型的具体信息，也就是说对环境模型以及路径搜索空间的精度要求很高。但是大型角色类游戏场景中随机出现的其他玩家、怪物以及固有的山、水、森林等障碍物，使得环境模型和路径搜索空间是动态的，是随机的。因此一定程度上来说，对于路径寻优中的障碍物避障问题，传统的路径寻优算法是不适用的。

强化学习属于搜索算法，可以在状态和环境未知的情况下，遍历所有路径，根据给定的赏金函数求得每一条路径的目标函数的值，从中选取目标函数值最大的路径，结合神经网络可以实现动态随机环场景下的避障和路径寻优目的。但是由于全局逼近神经网络通常训练速度较慢，在大型的游戏场景中其所需的计算资源(内存等)和代价(时间等)是不符合用户体验要求的。因此通常采取局部逼近神经网络，而局部逼近最主要的潜在限制就是随着输入空间维度的增加所需要的特征单元是以指数形式增加的，并且局部逼近无法实现全局最优路径的规划。

发明内容

本发明的实施例提供一种动态随机环境的路径规划方法和装置，用于在节省计算资源的基础上，对动态随机环境中两个节点之间的最优路径搜索。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供一种动态随机环境的路径规划方法，包括：

获取资格迹的初始值、构造列向量的初始值、构造矩阵的初始值、初始节点的状态值和终止节点的状态值；初始节点的状态值包括初始节点的空间坐标，终止节点的状态值包括终止节点的空间坐标；

根据小脑神经网络CMAC隐含层的权值行向量的初始值和CMAC的激活函数，构建动态随机环境的特征向量空间；

将初始节点的状态值赋予初始中间量；

根据初始中间量，获取初始节点的运行动作、前进节点的状态值和前进节点的运行动作；

根据初始中间量、资格迹的初始值、特征向量空间、构造列向量的初始值、构造矩阵的初始值、初始节点的运行动作、前进节点的状态值和前进节点的运行动作，依据基于CMAC的递归最小二乘Q强化学习算法，对资格迹的初始值、构造列向量的初始值和构造矩阵的初始值均进行更新；

将前进节点的状态值赋予初始中间量后，根据初始中间量，获取初始节点的运行动作、前进节点的状态值和前进节点的运行动作；初始节点的运行动作与前进节点的状态值一一对应；

当确定初始中间量和终止节点的状态值相同时，将初始节点的状态值赋予初始中间量后，根据初始中间量，获取初始节点的运行动作、前进节点的状态值和前进节点的运行动作；

当确定所有初始中间量中存在预设个数个初始中间量与终止节点的状态值相同时，根据当前时刻的构造矩阵的初始值和当前时刻的构造列向量的初始值，依据递归最小二乘解公式计算权值行向量的确定值；