[发明专利]一种动态随机环境的路径规划方法和装置

权利要求书

1.一种动态随机环境的路径规划方法，其特征在于，包括：

获取资格迹的初始值、构造列向量的初始值、构造矩阵的初始值、初始节点的状态值和终止节点的状态值；所述初始节点的状态值包括所述初始节点的空间坐标，所述终止节点的状态值包括所述终止节点的空间坐标；

根据小脑神经网络CMAC隐含层的权值行向量的初始值和所述CMAC的激活函数，构建所述动态随机环境的特征向量空间；

将所述初始节点的状态值赋予初始中间量；

根据所述初始中间量，获取所述初始节点的运行动作、前进节点的状态值和前进节点的运行动作；

根据所述初始中间量、所述资格迹的初始值、所述特征向量空间、所述构造列向量的初始值、所述构造矩阵的初始值、所述初始节点的运行动作、所述前进节点的状态值和所述前进节点的运行动作，依据基于CMAC的递归最小二乘Q强化学习算法，对所述资格迹的初始值、所述构造列向量的初始值和所述构造矩阵的初始值均进行更新；

将所述前进节点的状态值赋予所述初始中间量后，根据所述初始中间量，获取所述初始节点的运行动作、前进节点的状态值和前进节点的运行动作；所述初始节点的运行动作与所述前进节点的状态值一一对应；

当确定所述初始中间量和所述终止节点的状态值相同时，将所述初始节点的状态值赋予所述初始中间量后，根据所述初始中间量，获取所述初始节点的运行动作、前进节点的状态值和前进节点的运行动作；

当确定所有所述初始中间量中存在预设个数个初始中间量与所述终止节点的状态值相同时，根据当前时刻的所述构造矩阵的初始值和当前时刻的所述构造列向量的初始值，依据递归最小二乘解公式计算所述权值行向量的确定值；

根据所述权值行向量的确定值对所述特征向量空间进行更新，以获取目标特征向量空间；

根据所述权值行向量的确定值和所述目标特征向量空间，依据预设Q值计算公式计算最终Q值表；

根据所述最终Q值表确定所述动态随机环境中所述初始节点和所述终止节点之间的最优路径。

2.根据权利要求1所述的动态随机环境的路径规划方法，其特征在于，所述根据所述初始中间量，获取所述初始节点的运行动作、前进节点的状态值和前进节点的运行动作包括：

确定所述初始中间量对应的节点可执行的执行动作为所述初始节点的第一动作；

根据所述初始中间量和初始Q值表，依据贪心算法从所述第一动作中选取所述初始节点的运行动作；

根据所述初始中间量和所述初始节点的运行动作，确定前进节点的状态值；

根据所述前进节点的状态值和所述初始Q值表，依据贪心算法获取所述前进节点的运行动作；

所述执行动作包括以下任一项：上、下、左和右。

3.根据权利要求2所述的动态随机环境的路径规划方法，其特征在于，所述根据所述初始中间量和初始Q值表，依据贪心算法从所述第一动作中选取所述初始节点的运行动作包括：

根据所述初始中间量和所述第一动作，确定第一节点的状态值；所述第一动作和所述第一节点的状态值一一对应；

根据第二动作和与所述第二动作对应的第一节点的状态值从所述初始Q值表中选取第一Q值；所述第二动作为任一所述第一动作；

将第一Q值最大的第二动作确定为所述初始节点的运行动作。

4.根据权利要求1所述的动态随机环境的路径规划方法，其特征在于，所述根据所述初始中间量，获取所述初始节点的运行动作、前进节点的状态值和前进节点的运行动作包括：

确定根据所述初始中间量对应的节点可执行的执行动作为所述初始节点的第一动作；

根据所述初始中间量和所述终止节点的状态值，依据择劣原则启发搜索算法，从所述第一动作中选取所述初始节点的运行动作；

根据所述初始中间量和所述初始节点的运行动作，确定前进节点的状态值；

根据所述前进节点的状态值和所述终止节点的状态值，依据择劣原则启发搜索算法获取所述前进节点的运行动作；

所述执行动作包括以下任一项：上、下、左和右。