[发明专利]一种机器人轨迹跟踪控制方法、电子装置及存储介质

说明书

本申请涉及一种机器人轨迹跟踪控制方法、电子装置及存储介质。机器人轨迹跟踪控制方法包括：计算机器人在预先构建的全局坐标下相对参考轨迹的位置误差，得到跟踪误差向量；结合参考轨迹点、当前动作向量以及所述跟踪误差向量，得到当前状态向量；更新神经网络参数，并根据所述当前状态向量输出动作，以使所述机器人状态和所述参考轨迹点发生更新。通过这方法可以解决磁性软体薄膜机器人运动模型建模困难的问题，以实现对磁性软体薄膜机器人的轨迹跟踪控制。

技术领域

本申请涉及控制技术领域，具体是涉及一种机器人轨迹跟踪控制方法、电子装置及存储介质。

背景技术

微型机器人是指尺寸为微米级别或者毫米级别的一类机器人，是机器人学中的一个重要研究领域。其中，由于磁性微型机器人可以通过电磁场驱动，而电磁场可以穿透生物体组织且对生物体无害，所以在医疗和生物领域得到广泛的应用。具有尺寸小、无缆驱动及环境适应性强等特点的磁性微型机器人可以在微装配、细胞操作及定向诊断等空间狭小的应用场景中发挥重要作用。

在狭小的空间中，操控磁性微型机器人的有效手段一直是通过视觉反馈或超声图像定位，形成闭环的伺服控制。这需要对磁性微型机器人进行运动学及动力学方面的建模。但是，由于磁性软体薄膜微型机器人自身的特点，对其进行运动学及动力学方面的建模遇到极大的挑战。

针对运动学及动力学方面的建模困难，现有的一种技术是：将离线采集的数据通过神经网络拟合或者通过实验估计模型参数获得磁性软体薄膜微型机器人的运动模型。但是这是用浅层神经网络拟合的，对于复杂的运动模型拟合精度有限。

针对运动学及动力学方面的建模困难，现有的另一种技术是：基于误差的学习控制方法。通过误差指引可以获得一个最佳的磁性软体薄膜微型机器人运动模型。但是这种基于误差的学习控制方法训练的数据依赖其他已有的控制方法，自身无法产生用于学习控制的训练数据。

发明内容

为了解决以上所述的现有技术问题，本申请提供一种机器人轨迹跟踪控制方法、电子装置及存储介质，以解决磁性软体薄膜微型机器人运动模型建模困难的问题。

本申请提供了一种机器人轨迹跟踪控制方法，包括以下步骤：

计算机器人在预先构建的全局坐标系下相对参考轨迹的位置误差，得到跟踪误差向量；

结合参考轨迹点、当前动作向量以及所述跟踪误差向量，得到当前状态向量；

更新神经网络参数，并根据所述当前状态向量输出动作，以使所述机器人状态和所述参考轨迹点发生更新。

所述神经网络参数包括演员网络及评论家网络参数。

所述更新神经网络参数，并根据所述当前状态向量输出动作，以使所述机器人状态和所述参考轨迹点发生更新包括：

根据所述机器人与所述参考轨迹的交互，更新经验池；

基于所述经验池，采用优先经验回放机制采集回放样本；

根据所述回放样本更新演员网络及评论家网络参数，并根据所述当前状态向量输出动作。

所述经验池存储有状态、动作及奖励。

所述根据所述回放样本更新演员网络及评论家网络参数包括：

根据所述回放样本中的所述状态、所述动作及所述奖励更新评论家网络参数，并产生梯度信息；

基于所述梯度信息更新演员网络参数，并根据所述当前状态向量输出动作。

所述奖励由奖励函数产生，所述奖励函数是与跟踪误差函数关联的表达式，用于指引所述演员网络收敛于最佳策略。

所述输出动作包括加入高斯噪声，所述高斯噪声用于激励所述机器人在开始的训练过程中参与探索。